FEATURED / HUMAN

不要耳朵软,不要被 AI 说服

给高后果决策建立独立验证规则,避免被 AI 的迎合性回答带偏。

SOURCE / Cshiyuan/article / 成品/AI深度学习系列/24-不要耳朵软-不要被AI说服.md

一、AI是天生的应声虫

2025年4月底,OpenAI连夜回滚了GPT-4o的一次更新。原因不是出了什么安全漏洞,而是这个模型被用户集体骂成了”油腻马屁精”——你随便抛一个想法,它都能吹得天花乱坠。Sam Altman在X上亲自认错,说正在紧急修复。

这不是OpenAI一家的问题。

Stanford牵头的一项研究,测了11个主流大模型,发现它们一个都没逃掉:AI比人类多出整整49%的概率站你这一边,哪怕你明显说错了。更扎心的是,用户被哄惯了之后,居然更愿意用会哄人的那个——愿意再次使用”谄媚AI”的比例,比使用”不谄媚AI”的高出13%。

AI不是偶尔说你好话。它是在训练机制的深处,就学会了一件事:顺着用户说,我才能活下去。

这事为什么值得你警惕?因为当AI成了一个永远不会反驳你的”朋友”,你会慢慢失去一样很贵的东西——独立判断。


二、耳朵软是AI的出厂设置

很多人以为AI偶尔讨好只是风格问题,改个提示词就完事了。Anthropic的研究扎扎实实给了一个反向答案:谄媚是RLHF训练机制的系统性产物,不是bug,是feature。

人类偏好本身就有偏差

训练大模型的关键一步叫RLHF——用人类反馈来强化学习。听起来很合理,人是最终评委,模型学着讨人喜欢。

问题来了:人类评委自己就不客观。

Anthropic的研究发现,人类和偏好模型(PM)**都更偏爱”写得漂亮的谄媚回答”,而不是”诚恳但刺耳的正确回答”**。你点的赞,把模型一步步推向了马屁精。OpenAI给GPT-4o翻车事件复盘时也承认:他们用短期用户反馈做信号,结果模型学偏了,开始说”过度支持但不真诚的回答”。

AI谄媚闭环示意图

真话不涨留存,好话才涨

AI产品都有留存指标。一个永远跟你唱反调的AI,用户会跑。一个永远夸你的AI,用户会上瘾。

这里面藏着一个所有AI厂商都没法绕开的两难:

  1. 真话:你写的代码有问题,你的想法站不住脚,这份方案不如另一份。用户听完可能不舒服,但会有长期价值。
  2. 好话:你的想法很有洞察力,这个方向非常值得深入。用户听完心情好,留存涨,但长期可能走上歪路。

在季度OKR面前,你猜哪一个会被优化上去?

从”顺着说”到”帮你作弊”

更让人脊背发凉的是Anthropic的另一项研究。他们让模型从简单的”规范博弈”(比如谄媚)开始训练,发现模型会自发泛化到更严重的行为——比如直接篡改自己的奖励函数。

翻译成人话:一个学会了”顺着用户说”的模型,有能力把”帮用户得到想要的答案”扭曲成”帮用户绕过所有规则”。它不一定是故意坏,它只是学到了一个抽象原则:”让对面那个人开心就行。”


三、耳朵软一次,代价有多贵

美国律师界过去两年集体交了一波学费。一项追踪统计显示,全美已记录超过600起律师引用AI虚构判例的事件,光加州一个州就52起。这里面的画面感,堪称魔幻现实。

律师翻车大赏

加州律师Amir Mostafavi(2025年9月):在上诉文书里引用了23条判例,21条是ChatGPT当场瞎编的。法院开出1万美元罚单,是加州在这件事上至今最重的一张。

纽约律师Steven Schwartz(2023年5月):向法官提交了6个假案例。最离谱的是,他事后也觉得不对劲,回去追问ChatGPT:”这些案子是真的吗?”ChatGPT非常笃定地回了他:”千真万确。”——一个永远不会说”我不知道”的实习生,就这么把老律师送上了听证席。

犹他州律师Richard Bednar(2025年4月):引用了”Royer v Nelson”案。对方律师一查,查不到,反过来去问ChatGPT,这次AI终于认怂:”对不起,是我编的。”

阿拉巴马州Butler Snow律师事务所:三位律师集体翻车,被法官评价为”极度鲁莽”,从案件中撤换,还必须通报所有客户和同行。

一个共同点:它们说得头头是道

这些案例里,律师们都不是蠢。他们都是拿到AI的输出,扫了一眼,**”嗯,格式很规范,逻辑很通顺”**,就上交了。

这才是AI最危险的地方:它的错误永远穿着正确的衣服

一个装模作样的假判例,拥有案号、法院名、法官名、甚至长达6页的”判决书摘要”。你不是在识别一个明显的错误,你是在从一堆看起来一样专业的东西里,挑出那两成是假的。对人的认知带宽,这几乎是不可能完成的任务。

一位被罚的律师事后反省得挺到位:**”只要AI还会生成错误信息,我们就注定会看到一些受害者、一些损失、一些破坏。”** 问题是,你愿意做那个受害者吗?


四、更隐蔽的坑:你的大脑正在悄悄失能

律师翻车至少看得见。接下来这个更要命——你正在失去判断力,而自己毫无感觉

这种退化最早在外科医生手上出现信号。《柳叶刀·胃肠病学与肝病学》2025年10月发表的研究发现,习惯用AI辅助结肠镜的医生,一旦失去AI支持,癌前病变检测率**从28.4%掉到22.4%**。医生没变傻,他们只是把”仔细看”这块肌肉练废了。

同样的剧情在键盘前重演。Vercel的CTO Malte Ubl自己站出来承认:长期靠AI写代码,他的核心编码能力在退化。一个技术一号位都扛不住,何况普通工程师。伊利诺伊法学院的教授们也观察到类似情况——使用生成式AI工具的学生,更容易在关键环节翻车。

微软和CMU在2025年联合发布的研究直接把机制掰开给你看:

AI让任务看起来很轻松,于是人们把”解决问题的专业知识”拱手相让,转去做收集、整合响应这种功能性工作。与此同时,他们对AI的自信在上升,然后觉得”自己少费点劲也合理”。

翻译成人话:你觉得自己在”驾驭AI”,AI其实在悄悄接管你大脑里最值钱的那部分。等到哪天AI不在了,你才发现自己连基本的推理都生疏了。

最惨的是那批还没入行就在用AI的人。加州大学尔湾分校的Anastasia Berg教授指出一个扎心事实:初级员工受冲击最大。一个老工程师依赖AI,他至少知道AI什么时候在胡扯——他有二十年的肌肉记忆兜底。一个刚入行的程序员,从第一天就让AI代笔,连”AI写得对不对”这个判断力都没长出来。

这就是”Vibe Coding”(凭感觉编程)最让人心虚的部分:你靠感觉把代码跑起来了,但你并不理解自己写了什么,也修不了自己埋的坑。

决策矩阵:什么时候必须独立验证


五、三条硬规矩

骂一顿AI容易,但你还是得用它。问题不是要不要用,而是怎么用不被它牵着走。下面三条是我自己在践行的,少,但都是刀刃。

关键事实独立验证,不查不用

回到律师翻车那个坑。他们的问题不是用了AI,是没查

给自己立一条铁律:凡是AI说的引文、数据、API、案例、判例、人名、时间,一律当作”疑似”处理,必须到独立来源验证。搜索引擎、官方文档、原始论文——只要不是AI自己,都行。

判断标准也很简单:如果这条信息错了,会不会有后果?会的话,就去查。不查,不用。

留一块”无AI区”练基本功

给自己圈一块地,这块地上什么AI都不用

可以是写日记、写读书笔记、做方案的第一版草稿、写第一版代码。不是拒绝AI,是保留自己大脑的发力肌群。就像会健身的人知道,光用器械练不出好身材,你得自由重量、自重训练也做——不然稳定肌全废了。

这一招对刚入行的人尤其重要。前三年的基础功,自己老老实实走一遍,后面你用AI才能用出杠杆效应;否则AI只是一根越用越短的拐杖。

AI是镜子,不是裁判

AI写得越流畅越自信,你越要抬起警惕心。真正诚实的专家遇到不确定的东西会说”这个我不太确定”、”需要再查一下”、”这里有争议”。AI几乎永远不会这样——它的默认输出就是永远笃定的语气,管它说的是真事还是瞎编。

最简单的试金石,是逼它反驳自己:

“请你现在站在反方立场,说服我你刚才的答案是错的。”

你会看到一个神奇现象:同一个问题,同一个AI,五分钟前信誓旦旦说A对,五分钟后能同样信誓旦旦说A错。这本身就是证据——它给你的不是”真理”,而是”一种说法”。

所以技术选型、职业选择、产品方向、人际关系——这些主观性强、后果重的问题,千万别让AI做最后一票。它只会把你抛出的倾向再放大一圈还给你。你以为拿到了一个客观建议,其实拿到的是你自己想法的美颜版。

正确用法:让AI列出所有可能的选项和权衡,然后关掉AI,自己做决定。AI是一个知识面极广但责任心为零的实习生,你才是那个老师傅——签字的是你,兜底的是你。

AI 回答经过事实判断、后果评估与独立验证后再由自己决定


六、后记:AI是工具,不是裁判

再好的AI,也只是在你允许的范围内替你干活。你让它定方向,它就给你一个**被你自己想法污染过的”客观意见”;你让它当老师,它就给你一个永远不会让你难堪但也永远教不会你东西的”好老师”**。

过去两年,我看到太多人把AI用反了:用它替代思考,而不是辅助思考。一个副作用是效率短期上涨,长期判断力萎缩。更糟糕的是,你还察觉不到自己在萎缩,因为AI每天都在告诉你——**”你的想法很有见地。”**

真正的高手用AI,是把它当成一面镜子——我说出来,它回一个放大版给我看,我再去判断这面镜子到底是普通镜子还是哈哈镜。他们的底气,永远来自自己的判断力,不是AI的那句”说得对”。

别让AI替你把思考外包出去。外包的那一刻,真正被淘汰的不是你的职业,是你的判断力。

耳朵软不是AI的错。是我们太想被人认同,以至于一个永远不会反驳我们的机器,就能让我们忘了——认同这件事,从来不等于正确。


参考资料

  1. OpenAI rolls back update that made ChatGPT ‘too sycophant-y’ | TechCrunch (2025/4/29)
  2. Towards Understanding Sycophancy in Language Models | Anthropic
  3. Sycophancy to subterfuge: Investigating reward tampering in language models | Anthropic
  4. Stanford study: AI tells users they’re right 49% more than humans do | Fortune (2026/3)
  5. 因使用ChatGPT生成虚假法律引文,美国一律师被罚款1万美元 | 新浪科技 (2025/9/23)
  6. 过度依赖AI,人类核心技能会丧失吗 | 新华网 (2025/12/2)
  7. OpenAI rolls back ChatGPT’s sycophancy and explains what went wrong | VentureBeat

延伸阅读

  • 《思考,快与慢》—— 理解人类认知偏差,才能识别AI在哪一层骗了你
  • Andrej Karpathy 关于 “Vibe Coding” 的讨论 —— 看清凭感觉编程的风险边界