无监督的预训练和有监督任务的微调

无监督的预训练和有监督任务的微调”，结合自回归模型（GPT 基于自回归架构 ）

一、无监督预训练例子

无监督预训练是让模型在大量无标注文本上学习语言规律，像从海量网页文本、书籍语料里 “自学” 。

1. 文本续写学习

比如互联网上有无数公开的故事片段，像 “在一个宁静的小镇，午后的阳光透过斑驳的树叶，洒在________” ，模型在预训练时，会基于前面 “在一个宁静的小镇，午后的阳光透过斑驳的树叶，洒在” 这些内容，学习预测后面该接什么合理文字，可能是 “古老的青石板路上” 这类表述，通过海量类似文本，掌握如何依据前文逻辑、语义延续内容，这就是利用自回归方式（从左到右利用上文预测下文 ）在无监督场景学习。

2. 语法与语义知识习得

假设有大量新闻文本，如 “人工智能技术近年来发展迅猛，它在________、________等领域展现出巨大潜力” ，模型接触多了，会知道后面可能填 “医疗诊断”“自动驾驶” 这类常和人工智能搭配、符合语义与逻辑的领域词汇，逐步掌握语言的语法规则、语义关联，构建起对语言模式的理解，这些知识都是在无标注（无监督 ）的预训练阶段积累的。

二、有监督任务微调例子

有监督微调是用标注好的数据集，让模型在特定任务上更精准，常见的有文本分类、问答等任务 。

1. 情感分类任务微调

• 场景：要让 GPT 能判断电影评论是 “积极” 还是 “消极” 。
• 数据准备：收集一批标注好的评论，比如 “这部电影剧情紧凑，演员演技精湛，太好看了！—— 积极”“电影特效廉价，故事逻辑混乱，很差劲 —— 消极” 。
• 微调过程：把这些带标签的样本输入模型，模型用预训练学到的语言基础，聚焦学习 “什么样的文本表述对应积极 / 消极情感” ，调整自身参数。微调后，再遇到新评论 “影片配乐动人，情节跌宕，值得推荐” ，就能更准确分类为 “积极” ，这就是在有监督（有情感标签 ）下，基于预训练能力做特定任务优化。

2. 问答任务微调

• 场景：让模型能回答历史知识类问题，像 “秦始皇统一六国的时间是？” 。
• 数据准备：整理大量问答对，如 “问题：秦始皇统一六国的时间是？答案：公元前 221 年”“问题：赤壁之战的交战双方是？答案：孙刘联军与曹军” 。
• 微调过程：模型利用预训练时学会的语言理解、知识存储能力，在这些标注数据上 “打磨” ，学习如何从问题里提取关键信息，关联到正确答案。微调后，面对用户提问 “谁领导了美国独立战争？” ，就能更精准输出 “华盛顿” 这类答案，实现特定问答任务的能力提升。

简单说，无监督预训练是让模型 “广泛读书学语言” ，有监督微调是 “带着明确任务做专项练习” ，二者结合让 GPT 既懂通用语言规律，又能在具体任务上表现出色，而自回归的预测方式（基于前文生成下文 ）贯穿预训练等过程，是 GPT 工作的基础逻辑之一 。