Prompt Tuning：优化提示调优全攻略

Prompt Tuning（提示调优）

旨在通过优化提示来调整预训练语言模型的行为，有诸多变体，并且可以直接设置自然语言提示词。

Prompt Tuning的变体

1. Prefix Tuning（前缀调优）
   • 原理：在输入序列前添加一段可训练的连续向量作为前缀，模型在处理输入时会同时考虑前缀向量和原始输入。前缀向量在训练过程中不断优化，引导模型产生符合任务需求的输出。
   • 示例：在文本生成任务中，对于预训练语言模型，固定模型原有参数，只训练添加在输入前的前缀向量，让模型基于前缀的引导生成特定风格（如诗歌风格、新闻报道风格）的文本。
2. Hard - Prompt Tuning（硬提示调优）
   • 原理：直接使用离散的自然语言文本作为提示，这些提示是人工设计或通过搜索算法找到的。硬提示可以是任务相关的关键词、短语或完整句子，通过调整这些自然语言提示来影响模型输出。