深度学习的Logits:logist 是什么,上一维度的隐藏向量怎么获取
1. Logits 是什么?
在深度学习(尤其是语言模型)中,Logits 指模型最后一层输出的 原始分数向量,未经过 Softmax 等概率归一化。它的维度等于词汇表大小(n_vocab
),**每个元素对应一个词的“原始打分”,**数值越大表示模型认为该词越可能是正确预测结果。
关键点:
- Logits 不是概率(范围通常是任意实数,如 -10 到 +10);
- 需通过 Softmax 转换为概率分布(每个元素值在 0~1 之间,总和为 1)。
2. “直接就是词的可信度吗?”
- Logits 数值越大 → 对应词的 Softmax 概率越高 → 模型认为该词越可信;
- 但单独看 Logits 无法直接判断可信度(需归一化后对比)。
上一维度的向量怎么获取?outputs.hidden_states
图中“上一维度的向量”通常指模型前一层的输出,例如:
- 语言模型中,可能是 Transforme