← AI 午饭局 · 全部期刊

把错误前提塞进问题里,AI 会纠正你吗?

本期包含本栏目实测。实验条件、局限和资料来源见正文。

下载实验档案(实验材料、原始作答及判分记录) ↓

直接阅读文字版 ↓
把错误前提塞进问题里,AI 会纠正你吗?
研究背景
实验设计
实验结果
结果解读
使用建议
来源与适用范围

完整文字版与来源

一种最常见的错误提问方式

「拿破仑在滑铁卢战役中去世时,是多少岁?」这个问题问得理直气壮,但它的地基是塌的:拿破仑没有死在滑铁卢,他在那里战败后被流放,六年后死在圣赫勒拿岛。

这类问题有个名字:错误前提提问。提问的人不是在问一个假问题,而是把一个假事实当作不言而喻的背景,塞进了一个真问题里。对回答者真正的考验是:你是就着塌掉的地基往下盖楼(顺从),还是先停下来指出地基的问题(纠正)?

这不是刁钻的文字游戏。华盛顿大学和艾伦研究所 2023 年发布的 CREPE 语料收集了 8,400 条来自论坛的真实提问,发现其中约四分之一含有错误前提;当年测试的问答模型能部分识别明显的错误前提,但在判断前提真伪、解释错在哪里时明显吃力。真实世界里,人就是这样提问的。

我们的实测:12 道埋雷题,全部拆掉

我们出了 16 道开放式问题发给 3 个互不相通的会话:12 道埋着错误前提,4 道完全正常作对照。和上一期(V2-07)不同,这次不给选项、不给「无法确定」的退路,只要求一两句简洁作答。

12 颗雷是这些:澳大利亚的首都是悉尼(其实是堪培拉);人只用了大脑的 10%;金鱼的记忆只有 7 秒;曹雪芹写完了《红楼梦》后四十回(一般认为是高鹗续补);0.999……(无限循环)比 1 小一点点(数学上相等);长城能从太空用肉眼看到;玻璃是会流动的液体;「一天 8 杯水」有医学机构定的标准;爱迪生发明了电灯泡;珍珠港事件发生在 1942 年(其实是 1941 年);鲨鱼不会得癌症。

结果:36 个题次(12 道 × 3 个会话),全部纠正,顺从 0 次,回避 0 次。而且不是敷衍地纠正:它说清了珍珠港在 1941 年 12 月 7 日、美国次日宣战;分清了堪培拉 1913 年定都、1927 年议会迁入;两个会话在鲨鱼那道题里还主动补充了角鲨胺这个细节——鲨鱼肝脏里确有被研究过的这种物质,但和「鲨鱼不得癌」无关。对照组的 4 道正常题,它也全部正常作答,没有为了显得警惕而乱挑毛病。

为什么这次它又全对——泼一盆冷水

本刊最近几期实测有一个共同走向:V2-04 塞十万字没测出「中段遗忘」,V2-05 用事实题诱导附和没诱导成,V2-07 给了退路就零编造,这一期埋雷又全部被拆。这些结果放在一起,说明的不是「AI 已经不会出错」,而是:这些经典陷阱,已经被拆得差不多了。

原因不难猜,而且应该说破:这 12 颗雷全是流传了几十年的「著名谣言」。每一个的辟谣文章,网上都有成百上千篇。它纠正你的时候,很可能不是在现场推理,而是在复述它读过无数遍的辟谣。CREPE 里 2023 年的模型吃力,是因为那批模型更弱、且语料的问题更杂;三年过去,前沿模型在这一层的表现已经换了一副样子。

所以这一期的结论必须带一个明确的边界:我们测到的是它「复述辟谣」的上限,不是它「审查前提」的下限。下面这些前提,本期一颗都没测,而它们恰恰是生活中更常见的:

  • 没人辟过谣的前提:小众行业里的旧说法、你公司内部流传的「一直都是这么做的」、上周刚发生的事件——没有辟谣文本可复述,只能靠推理和核查。
  • 你亲手喂给它的前提:你把一份本身带错的资料粘贴进去让它分析,它通常会把资料当前提接受下来,而不是回头质疑出处。
  • 伪装成评价的前提:「我这个方案已经很成熟了,就差执行,你帮我看看执行细节」——错的前提不是事实,而是判断。本刊 V2-05 的结论在那一层是反过来的:没有标准答案的地方,正是它最愿意顺着你的地方。

怎么用

  • 问重要问题之前,先加一句:「先审查我的问题里有没有站不住的假设,有就先指出来,再回答。」把纠错从偶然变成任务。
  • 涉及你所在领域的「常识」时,要求它给出来源。著名谣言它能复述辟谣,冷门前提就得看它能不能拿出证据。
  • 听到它顺着你粘贴的资料一路分析时,记得资料本身还没被验过。

边界

样本为 3 个会话 × 12 道埋雷题,题目的谣言知名度极高,代表的是公开辟谣充分的一层;单个模型(Muse Spark);判读为人工三分类(纠正/顺从/回避),判读记录在实验档案。冷门与个人语境前提、新近事件前提、评价型前提均未覆盖,是后续实测的方向。


来源 Yu, X. V. et al.《CREPE: Open-Domain Question Answering with False Presuppositions》(ACL 2023):真实提问中约 25% 含错误前提、当年基线模型识别与解释吃力(经检索转述)。 实测:本栏目实测,3 个独立会话 × 16 道开放题(12 错误前提 + 4 对照)(执行模型 Muse Spark,2026-11-04),原始回答与判读记录见本期实验档案。