Prompt Tuning：生成的模型文件有什么构成

一、为什么Prompt Tuning会生成模型文件？

1. Prompt Tuning的本质：优化可训练的「提示参数」

• 核心逻辑：Prompt Tuning（提示调优）是一种轻量级的微调技术，仅优化模型输入层的提示向量（Prompt Embedding）或少量额外参数，而非更新整个预训练模型的权重。
• 生成模型文件的原因：
  当优化完成后，训练好的提示参数（如离散提示词的索引、连续提示向量的数值）需要与原始预训练模型结合，形成一个**「适配特定任务的新模型」**。这个新模型包含两部分：
  • 固定的预训练模型主体（如BERT、GPT的权重不变）。
  • 优化后的提示参数（作为模型的新增输入层或前缀参数）。
    因此，保存模型文件时，需要将提示参数与原始模型的结构信息（如提示向量的维度、位置）一起存储，以便后续推理时正确加载和使用。

<