【面试题】介绍一下BERT和GPT的训练方式区别？

BERT（双向编码器）：

预训练任务：

• 掩码语言模型(MLM)：随机掩盖15%的token，其中：
  • 80%替换为[MASK]
  • 10%替换为随机token
  • 10%保持原样
• 下一句预测(NSP)：判断两个句子是否连续（后续版本已移除）

训练特点：

• 使用双向Transformer编码器
• 同时利用左右上下文信息
• 适合理解类任务：分类、标注、相似度计算

GPT（自回归解码器）：

预训练任务：

• 因果语言模型(CLM)：给定前文预测下一个token
• 只能利用左侧上下文，无法看到右侧信息

训练特点：

• 使用单向Transformer解码器（带掩码注意力）
• 通过next token prediction训练
• 适合生成类任务：文本生成、对话、创作

关键差异：

• BERT：双向理解，更适合文本表示学习
• GPT：单向生成，更适合序列生成任务
• 现代大模型（如GPT-3/4）通过scale up和指令微调弥补了单向性的限制