多空间投影:提示微调的革命性突破
提示词的 多空间投影(Multi-Space Projection)
一、多空间投影的定义与核心思想
多空间投影(Multi-Space Projection)是论文提出的EPT方法的核心技术之一,旨在通过将软提示(soft prompt)分解到多个子空间中,提升提示微调的任务适应性和性能一致性。其核心思想是:
将单一的提示嵌入空间分解为多个语义子空间,每个子空间捕捉不同的任务语义特征(如情感分析中的极性特征、命名实体识别中的实体类型特征等),然后通过门控网络(gating network)自适应地融合不同子空间的信息,以适应不同下游任务的需求。
二、多空间投影的原理与示例
1. 原理分析
-
分解过程:
假设原始软提示的嵌入维度为