Daily Productive Sharing 1319 - Why Language Models Hallucinate?

One helpful tip per day:)

Adam Tauman Kalai, Ofir Nachum，Santosh S. Vempala 和 Edwin Zhang 解释了为什么 LLM 中的幻觉问题始终难以解决：

1. 大语言模型之所以产生幻觉，是因为标准的训练和评估流程更奖励“猜测”，而非承认不确定性。
2. 幻觉指的是语言模型生成的似乎合理但实际上错误的陈述。
3. 评估本身并不会直接导致幻觉，但大多数评估方式衡量模型表现时，鼓励了猜测而不是对不确定性的诚实。
4. 可以把它想象成一次选择题考试：如果不会但乱猜，有时也能蒙对。
5. 当模型的评估仅基于准确率时，它们更倾向于猜答案，而不是回答“我不知道”。
6. 对于只有一个“正确答案”的问题，回答可分为三类：准确回答、错误回答，以及选择不作答（即不贸然猜测）。
7. 大多数排行榜根据准确率来排名，但实际上错误回答比不作答更糟糕。
8. 评估体系应当对自信的错误惩罚更重，对合理表达不确定性给予部分奖励。
9. 改进排行榜能推动减少幻觉的技术被更广泛采用，包括新方法和已有研究成果。
10. 模型只在训练中接触到流畅语言的正例，因此只能近似整体分布。
11. 准确率永远不可能达到 100%，因为无论模型规模、搜索或推理能力多强，一些现实问题本身就是不可解答的。
12. 小模型有时更容易意识到自己的局限。
13. 例如，当被问到毛利语问题时，一个完全不懂毛利语的小模型会直接回答“我不知道”；而一个懂一点毛利语的模型则需要判断自己的信心程度。

如果你喜欢的话，不妨直接订阅这份电子报 ⬇️