将 Logits 得分转换为概率,如何计算
场景:动物识别,输入一张28*28的图像,模型输出属于 猫、狗、鸟 哪个类型。
需求:假设模型 Logits(模型在每个类别的置信度得分) 输出为:[猫: 3.2, 狗: 1.5, 鸟: -0.8]。计算 Softmax 转换后的值(即概率值)。输出详细计算过程
Softmax 计算过程(以输入 Logits [3.2, 1.5, -0.8] 为例):
步骤 1:计算每个 Logit 的指数值
Softmax 公式为:
其中 zi是第 i个 Logit 值,K是类别总数(此处 K=3)。
计算各 Logit 的指数:
猫(z0=3.2):e3.2≈24.5325
狗(z1=1.5):e1.5≈4.4817
鸟(z2=−0.8):e−0.8≈0.4493
步骤 2:计算指数和(分母)
步骤 3:计算每个类别的 Softmax 值
猫:29.463524.5325≈0.8326
狗:29.46354.4817≈0.1521
鸟:29.46350.4493≈0.0153
最终结果:
Softmax 转换后值(各类别预测的概率)为 [猫: 0.8326, 狗: 0.1521, 鸟: 0.0153](总和为 1)。