关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;
目录 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导; 一、校准方法:让模型概率更贴近真实正确性 1. **温度缩放(Temperature Scaling)** 2. **多校准(Multicalibration)** 二、不确定性估计:量化模型“不知道”的能力 1. **语义熵(Semantic Entropy)** 2. **图不确定性(Graph Uncertainty)** 三、推理优化:通过过程增强置信度 1. **自一致性(Self-Consistency)** 2. **事实与反思(Fact-and-Reflection, FaR)** 四、检索增强:引入外部知识校准 五、黑盒引导:无需模型内部信息的置信度估计 六、后验校准:基于反馈修正置信度 总结:置信度研究的三大趋势
一、校准方法:让模型概率更贴近真实正确性
1. 温度缩放(Temperature Scaling)
论文 :《On Calibration of Modern Neural Networks》(Guo et al., 2017) 原理 :LLM输出的概率分布常因模型过参数化而“过于尖锐”(高概率答案实际正确率低)。温度缩放通过调整Softmax函数的温度参数 T T T ),软化概率分布,使概率值更符合实际正确性。公式为: