Clip微调系列：《MaPLe: Multi-modal Prompt Learning》

论文链接：arxiv.org/pdf/2210.03117

参考链接：(28 封私信) CVPR2023 | MaPLe: Multi-modal Prompt Learning - 知乎

灵魂三问：动机？具体实现方法？实验结论？

---

动机

以Clip为代表的视觉-语言模型虽然在下游任务泛化性好，但是性能高度依赖输入文本提示（Prompt）的设计选择。

现有的改进方法（如CoOp）提出通过可学习的提示调优（prompt-tuning）来替代人工设计硬提示（hard prompt），从而降低模型对prompt的依赖。

Clip微调系列：《coOp: learning to prompt for vision-language models》 -CSDN博客

但是上面这种prompt-tuning改进方法仅通过文本分支的调整，无法在下游任务上灵活动态的调整视觉-语言两个模态的表示空间，因此提出MaPle:促进视觉-语言prompt之间的交互。

---

具体实现

1. 提出CLIP中的多模态（视觉-文本）的prompt学习；

2. 提出一个耦合函数，为了将视觉-文本两个prompt联系在一起；

3. 在视觉-文本分支的Transformer块中分层学习多模态prompt,逐步建模双模态的协同行为，从而更灵活对齐视觉-文本特征。

  可以拆成两部分看: 

 第一部分：

在两个分支的不同Transoformer Layers分别引入prompt;

 以文本分支举例：
在第一层，引入b个可学习的参数（learnable tokens）;

和之前固定的输入token W concat拼接在一起输入Transformer Encoder Layer;

第二层同理，引入新的b个可学习参数 和 W 拼接输入第二层；

图中一共有k层Encoder Layers,J指当前层。

注意，如果这里J是1，也就是只在第一层引入可学习参数，就和coOp方法是一样的。

视觉同理：

第二部分：
为了让两个prompt有联系，设计了一个耦合函数，让视觉分支的prompt由文本分支的prompt 映射形成；

这里的耦合函数就是一个线性层

---

实验结论

1. 只在第一层添加可学习参数；

2. 只有视觉分支；

3. 只有文本分支；

4. 两个分支的prompt独立；

5. 两个分支的pormpt+耦合函数。

 prompt 深度的影响

一般而言，随着提示深度的增加，性能会有所提升。

当在一个已经成熟的冻结模型的深层插入随机初始化的提示时，性能敏感性会增加。

(人话：当提示在模型比深的层被引入时，任何微小的调整或变化可能会显著改变模型的预测结果，因此模型对这些变化更加敏感。）

类似的趋势也在文献 [Visual Prompt Tuning] 中被报告。由于早期的方法使用浅层语言提示（J=1），我们将我们的方法与深度语言提示进行了比较。总体而言，MaPLe 的表现优于深度语言提示，并在深度为 9 时达到最佳性能。

(28 封私信) 【论文精读】Visual Prompt Tuning - 知乎

prompt  长度的影响 

随着提示长度的增加，基础类别的性能通常保持不变，而新颖类别的准确率则下降。

这表明出现了过拟合，进而影响了对新颖类别的泛化能力。

 多模态提示的有效性

对于那些与 CLIP 预训练数据集有较大分布转移的数据集，以及通常较为稀有和不太通用的视觉概念，MaPLe 提供了显著的性能提升。

提示复杂性

实验了 MaPLe†，它对所有层的提示使用统一的 V-L 耦合函数。MaPLe† 的参数数量约为 MaPLe 的 1/9，但性能差异不大。

 其他对比：