三大微调技术对比：Prompt/Prefix/P-Tuning

Prompt Tuning、Prefix Tuning和P - Tuning的区别

• 概念方面：
  • Prompt Tuning：在输入序列前添加可训练的额外Token以适配下游任务，预训练语言模型参数不变。比如在文本分类中，在句子前加特定Token如“(OPINION)”，让模型理解是对观点进行分类的任务。
  • Prefix Tuning：在每层Transformer结构输入前都添加一组可训练的Token，使模型每层处理输入时都考虑这些额外信息。例如在机器翻译任务中，在每层输入前加“(TRANSLATION)”相关的可训练Token，让模型更好地进行翻译任务。
  • P - Tuning：Prompt Tuning的变体，在特定位置插入可训练的Token，早期版本位置不固定，后来的P - Tuning v2在每层也加入了Prompt tokens。如在命名实体识别任务中，在文本中实体可能出现的位置附近插入可训练Token来引导模型识别实体。
• 操作方式方面<