大模型词表设计与作用解析

几乎所有大型语言模型（LLM）都有自己独立的词表（Vocabulary）。这是模型设计和训练过程中的核心组件之一。以下是关于词表的关键点：

1. 词表的作用

• 分词基础：词表定义了模型如何将输入文本拆分成基本单元（如单词、子词、符号等）。
• 数值化映射：每个词表中的单元对应一个唯一整数（Token ID），模型通过处理这些 ID 进行运算。
• 模型容量：词表大小直接影响模型的参数量和处理效率。

2. 不同模型的词表差异

• 语言差异：
  • 中文模型（如 ChatGLM、Qwen）包含大量中文字符和常见中文词汇。
  • 多语言模型（如 mBART、NLLB）的词表可能覆盖数十种语言的字符。
• 训练数据：
  • 代码模型（如 CodeLlama）的词表包含编程语言关键词（if, def, {} 等）。
  • 专业领域模型可能包含生物/化学术语（如 AlphaFold 相关的蛋白质序列 token）。
• 分词算法：
  • BPE（Byte Pair Encoding）：GPT 系列、RoBERTa。
  • WordPiece：BERT、DistilBERT。
  • Unigram：T5、XLM-R。
  • SentencePiece：LLaMA、Gemini（支持跨语言无空格分词）。

3. 典型模型的词表大小对比

4. 为什么需要自定义词表？

• 效率优化：避免对常见词（如英文的 the、中文的 的）过度拆分。
• 语言适配：中文/日文等非空格语言需要不同的分词策略。
• 领域适配：医学/法律模型需保留专业术语的完整性（如 "冠状动脉" 不应被拆解）。
• 生僻词处理：通过子词组合（如 "Deep" + "##seek" → "Deepseek"）解决未登录词问题。

5. 词表如何影响模型行为？

• 分词结果差异：
  • 输入 "ChatGPT is amazing!"：
    • GPT-2 可能拆为 ["Chat", "G", "PT", " is", " amazing", "!"]
    • LLaMA 可能拆为 ["Chat", "GPT", " is", " amazing", "!"]
• 语言偏误：词表以英文为主时，中文/泰文等语言的效率会下降。
• 信息损失：过小的词表可能导致专有名词被强制拆解（如 "Transformer" → "Trans" + "##former"）。

6. 特殊 Token 示例

除了常见词汇，词表还包含功能性 Token：

• [CLS]、[SEP] → BERT 用于句子分类/分隔
• <|im_start|> → ChatML 格式中的对话开始标记
• <0x04>（EOS）→ 句子结束符
• ▁ → SentencePiece 表示空格

总结：

词表是每个大模型的身份证和语言基因，决定了模型如何看待文本。不同模型因目标语言、领域和算法选择差异，会采用完全不同的词表设计。这也是同一段输入在不同模型中表现各异的原因之一！