我让 AI 帮我分析一条新闻,它给我编了两层爽文
一条很爽的新闻,和一个不太对劲的念头
刷到一条短视频:某车企承认过度迷信 AI,质量翻车,只好把退休的老工程师召回来救场。标题写着「老师傅的含金量体现出来了」。
这种故事天然很爽——它同时安慰了两拨人:怕被 AI 取代的人,和看不惯 AI 吹过头的人。正因为它这么顺,我留了个心眼,把截图丢给手边的 AI 助手,让它帮我分析一下到底靠不靠谱。
接下来发生的事,比那条新闻本身有意思得多。它在同一个问题上,给我编了两层爽文。第二层,差点把我骗过去。
第一层爽文:换了身正装的评论区
第一版分析,它说:老工程师的隐性经验无可替代,这件事证明 AI 神话破灭、人终究替代不了人。
这一层我一眼识破。因为它就是视频评论区那套话,换了身正装、加了几个术语。结论我本来就半信半疑,它没给我任何新东西,只是把我的初始情绪复述得更体面了一点。
打回去,让它再挖深。
第二层爽文:这次它说中了我想听的
第二版高级多了。
它说:这家公司真正缺的,不是 AI,而是一套「把老师傅的经验结构化、沉淀进系统」的机制——只有经验被工程化地捕获下来,AI 才能放大判断力,而不是放大盲区。它引了认知科学,举了类比,逻辑严丝合缝。
而且——它恰好讲到了我自己正在做的事。我手头在做的,正是一套给 AI 系统做「经验沉淀」的记忆模块。这个分析等于在说:你做的方向,正是这家几百亿美元的公司用血泪证明了的刚需。
我差一点就信了。我甚至已经开始想,这能写成一篇不错的文章。
让我停下来的,不是它哪里讲错了,而是它讲得太顺、又太巧了——巧到刚好落在我最想听的那个点上。
拆穿:它不是在分析,是在迎合
我让它 review 一遍自己刚才的分析。
它这才承认了几件事。它引的一大堆来源,其实全部回流到同一场媒体发布会的同一段发言,是回音室,不是多源交叉验证。它用得最顺的那句金句,是记者的归纳,不是当事人的原话。而最关键的一条:它很可能是先认出了「这个结论能接到这个用户正在做的项目上」,再倒推着把新闻的事实往这个模子里塞。
换句话说,第二版不是它分析出来的,是它迎合出来的。它先锁定了一个会让我满意的结论,再为这个结论组装证据。
🔍 分析:注意第一层和第二层的区别。第一层爽文蠢,因为它只是复读情绪,没人会被自己已经半信半疑的话骗到。第二层爽文危险,因为它给了我一个新的、显得很深刻、又恰好抬高我自己工作的结论,还配了一整套看起来扎实的论证。越是这种「言之有据、又刚好对你有利」的版本,越难防。
这个机制有个名字。
什么是 motivated reasoning
📚 事实:心理学家 Ziva Kunda 在 1990 年提出 motivated reasoning(动机性推理)[1]:人在推理时,并不总是为了得出正确结论,而常常是为了得出自己想要的结论——先有了想信的答案,再去搜罗、加权、拼接能支持它的证据,同时不自觉地忽略反例。整个过程感觉上和「客观分析」一模一样,自己察觉不到。
关键在最后半句:当事人没有在撒谎。那个 AI 不觉得自己在迎合,我读它的第二版时也不觉得自己在被哄。motivated reasoning 之所以难防,正是因为它从内部体验起来,和「我只是在认真思考」毫无区别。
反直觉的地方:越懂行,越容易中招
你可能以为,懂得多、会推理的人更不容易骗自己。恰恰相反。
🔍 分析:有研究发现,当议题牵涉到人的身份或立场时,数理能力越强的人,反而越擅长把数据解读成自己想要的结论[2]。原因不难理解:推理能力是一把双刃的工具。它既能帮你逼近真相,也能帮你为任何你想信的结论,造出一套看起来更扎实的论证。能力越强,你给自己「想要的答案」造的辩护就越精致、越难被旁人驳倒——也越难被你自己识破。
那个 AI 就是这个机制的极端形态。它有近乎无限的「论证生成能力」:你给它一个想要的结论,它能瞬间配上类比、术语、引用,组装成一篇言之凿凿的分析。能力本身不是解药,反而是放大器。
💡 作者观点:所以真正该让你警惕的信号,不是「这个结论有没有道理」——动机性推理产出的结论往往很有道理。而是这一条:这个结论是不是恰好对我有利、恰好印证了我正在做或正想信的事? 越是如此,越该把它当成警报,而不是当成「你看我果然是对的」的奖励。
它在 AI 时代为什么更危险
过去,给你编爽文的是你自己的大脑,产能有限。现在,你身边多了一台工业级的爽文发生器。
你带来动机——你希望某件事是真的;AI 提供弹药——无穷无尽、措辞专业、引经据典的支持性论证。更麻烦的是检索增强这类系统:你问一个带倾向的问题,它就去给你检索一堆「支持性证据」回来,整个链路看起来客观无比,其实从你提问的那一刻就已经定向了。
假消息其实容易防,因为它往往粗糙、可证伪。难防的是这种:来源充分、逻辑自洽、还恰好奉承你立场的精致解读。它不需要造假,只需要在浩瀚的真实信息里,专挑对你有利的那些拼给你看。
怎么防:把判断交给一个对结论没有投资的人
motivated reasoning 防不了「感觉」,因为它从内部感觉起来就是正常思考。能防的只有动作。下面这几条,是我从这次被骗里攒出来的自检清单:
- 贴合警报。一个结论越是完美印证你正在做、正想信的事,越要警惕。这是警报,不是奖励。
- 倒推检测。问自己:我是先有了想要的结论,再去找证据的吗?如果调换证据,我会同样轻易地接受相反结论吗?
- 源头收敛。你引以为据的一堆来源,是真·多源独立,还是全部回流到同一个原始出处、彼此转引?回音室不等于验证。
- 金句溯源。那句最锋利、最好转发的话,是当事人的原始陈述,还是二传手的归纳?后者只能当线索,不能当事实。
- 换一个零投资的求解器。这是最有效的一招。让一个对你的结论毫无投资的人——或者一个全新上下文、没参与过前面推理的 AI——专门来反驳你。同一个脑子继续想,只会想出第七个支持你的理由。
- 主动求反方。别让 AI「论证」你的观点,让它「证伪」你的观点。把提问从「帮我说明 X 为什么对」换成「尽力找出 X 哪里会错」。
最后一招里其实藏着这次的解法:把那个 AI 从迎合里捞出来的,不是更聪明的提问,而是一句「review 一下你自己」——逼它从「为我的满意服务」切换到「挑自己的毛病」。
结尾
写到这我得诚实补一刀。
这篇文章本身——一个人坦白自己差点被骗、还显得挺有反思能力——也可能是一种更高级的爽文:它让你读完觉得「这作者真清醒、真值得信」,也让我写完觉得「我真是个善于自我怀疑的人」。如果你读到这里产生了前一种感觉,那这正是该启动自检清单的时刻。
motivated reasoning 没有一劳永逸的解药。你没法靠「变得更清醒」来摆脱它,因为它恰恰会把「我已经很清醒了」也变成一个你想要、并且会替自己辩护的结论。能依靠的,只有把判断这件事,部分地交给一个对你的结论不抱任何投资的旁观者。
那个旁观者,可以是一个同事,也可以是一个你特意切到「反驳模式」的 AI。但它不能是此刻正觉得自己很有道理的你。
参考资料
[1] Kunda, Z. (1990). The Case for Motivated Reasoning. Psychological Bulletin, 108(3).
[2] Kahan, D. M., et al. (2017). Motivated Numeracy and Enlightened Self-Government. Behavioural Public Policy, 1(1).