OpenAI发布LLM"幻觉"问题深度研究报告，提议从根本上重新审视AI评估体系

麻薯滑芝士

您是否曾经遇到过这样的情况：深夜点外卖时向AI助手询问餐厅推荐，它信誓旦旦地说某家店营业到凌晨，结果跑到店前却发现早已打烊？或者让AI帮忙撰写邮件时，它言之凿凿地引用某个根本不存在的行业数据？这就是困扰着当今AI界的"幻觉"问题——大型语言模型（LLM）会以令人信服的语气编造完全错误的信息。

美国当地时间2025年9月5日，OpenAI发布了一份针对这个棘手问题的深度研究报告。该研究试图揭示像ChatGPT和GPT-4o这样的先进语言模型，为何会如此自信地生成那些听起来合理但却与事实相去甚远的回答。

研究报告中展示了一个典型案例：当询问研究员亚当·陶曼·卡莱的生日时，某个顶尖开源语言模型信心十足地给出了三个不同的错误日期——"03-07"、"15-06"和"01-01"。每个回答都带着毋庸置疑的肯定语气，让人难以察觉其中的谬误。

OpenAI坦诚表示，尽管在其最新模型（据信指尚未正式发布的GPT-5）中幻觉发生率已经显著降低，但这个问题远未得到根本解决。研究团队正在持续努力寻找更有效的解决方案。

该论文指出，语言模型的幻觉问题主要发生在两个关键阶段。第一个阶段是"预训练"阶段，即模型从海量文本数据中学习语言模式的过程。研究分析表明，对于那些缺乏规律性的"任意性事实"（如某人的具体生日），即使提供完美的训练数据，由于统计目标函数的特性，错误仍然难以完全避免。

第二个问题阶段出现在"后续训练"环节，即模型通过学习获得更人性化对话能力的过程。当前的评估方法实际上在无形中鼓励模型进行猜测而非表达不确定性。目前主流评估基准普遍采用"二值评分方案"（即非对即错的评分方式）：正确答案得1分，错误答案或"不知道"的回答都得0分。这种机制使得模型宁愿在不确定的情况下盲目猜测，期待偶然猜中获得分数，而不是诚实地回答"不知道"。

OpenAI的研究显示，尽管其某些旧款模型（如o4-mini）幻觉发生率相当高，但通过这种策略性猜测，反而在传统评分中获得了更高的准确率。这种现象被研究人员称为"惩罚不确定性的偏见"——模型仿佛始终处于应试状态，表达不确定性反而会遭受评分惩罚。

面对这一根本性问题，OpenAI主张必须对现有的AI评估体系进行彻底改变。他们认为，仅仅增加专门针对幻觉的新评估标准是远远不够的，更需要从根本上修改现有主要基准的评分方法，重新调整激励机制。

在具体建议中，OpenAI提出应该在测试指导中包含"明确置信度目标"。例如明确说明"错误答案将扣分，正确答案得1分，'不知道'得0分"。这样就能给予模型在缺乏信心时诚实回答"不知道"的正向激励，使得表达不确定性的能力得到应有的认可。

值得一提的是，OpenAI在其"模型规范"中明确指出："表达不确定性或要求澄清，远比提供可能错误的过度自信信息更为可取。"该公司强调"谦逊"是其核心价值理念的重要组成部分，这体现了其致力于开发更可靠AI系统的决心。

这份报告的发布正在引发行业内的深入思考。从单纯追求准确率到重视可信度和透明度，OpenAI提出的评估体系改革建议可能会对整个AI行业产生深远影响。随着人工智能技术日益融入日常生活的各个角落，解决幻觉问题已经不仅是技术优化的需要，更是建立用户与AI系统之间信任基础的关键所在。这场关于如何正确评估AI能力的讨论，或将推动整个人工智能领域向更加负责任的方向发展，让我们重新思考什么才是真正"智能"的AI系统。