语义熵怎么增强LLM自信心的

语义熵怎么增强LLM自信心的

一、传统Token熵的问题（先理解“痛点”）

比如模型回答“阿司匹林是否治疗头痛？”→ 输出“是”

• 传统Token熵：只看“词的概率”，比如“是”这个词的概率特别高（Token熵0.2，数值低说明确定性强 ）。
• 但实际风险：医学场景里，“是”的字面肯定，不代表语义上绝对正确（比如阿司匹林能缓解头痛，但有禁忌症、不能随便用 ）。传统Token熵没考虑语义层面的“模糊性、风险”，可能输出看着确定，实际语义上漏洞大。

二、语义熵的核心逻辑（解决什么问题？）

语义熵想干的事：不只看“选了哪个词”，更看“语义是否严谨、有没有隐藏风险”。

• 怎么做？→ 用“核函数”算词之间的语义相似性（比如“缓解”“治疗”“止痛”在语义上是相关的 ），再构建一个“语义密度”的概率分布（类似：哪些语义是模型实际想表达的？有多集中？）。
• 公式简化理解：