`＜CLS＞` 向量是 `logits` 计算的“原材料”，`logits` 是基于 `＜CLS＞` 向量的下游预测结果

是什么

在自然语言处理的 BERT（Bidirectional Encoder Representations from Transformers）模型 里，<CLS>（Classification Token，分类标记 ）是一个特殊标记，作用如下：

一、核心定位：句子级“全局摘要”

• 它固定出现在每个输入序列的最开头，专门用于承载整个文本序列的全局语义信息，相当于给模型一个统一的“抓手”来理解整段文本，常作为后续下游任务（比如文本分类、情感分析）的关键依据 。
  比如处理文本“我喜欢自然语言处理”，实际输入模型的序列是“<CLS>我喜欢自然语言处理”，<CLS>会整合后面所有内容的语义。

二、在 BERT 流程里的运作