AI治AI：大语言模型自检新法

“以火攻火”的思路解决大语言模型（LLMs）“幻觉”问题

虚构是由于与提示无关的内部因素而不可预测地从 LLM 中出现的幻觉。作者专注于衡量 LLM 对提示响应的不确定性，使用高不确定性表示虚构的假设。他们通过计算一个称为熵的量来估计这种不确定性**，熵可以被认为是模型生成的可能输出的随机性**。然而，Farquhar 等人 。通过设计一种基于 LLM 确定的相似性的“语义”熵度量，在意义而不是单词层面测量不确定性。然后，他们使用第三个 LLM 来评估响应的准确性。简而言之，他们的方法相当于以火攻火：作者提出 LLM 可以成为控制 LLM 策略的一个组成部分。

大语言模型的应用与“幻觉”问题

大语言模型驱动的文本生成系统很受欢迎，不管是忙碌的高管、程序员，还是科学家，都在用它。科学家们甚至把它用在药物研发、材料设计、数学定理证明等领域。
但这类模型有个大问题——“幻觉”，就是它回答问题时，可能会给出听起来合理，但实际上错误或无关的内容。这种情况如果没被发现，可能会导致失误甚至危害。