情境示意 · 非服務實錄比辩论重要的事:前几天 Anthropic 发表一个极为重要的研究:研究者偷偷掷硬币,决定 AI 要站哪一边。
结果 50 位专业分析师,86% 的判断跟着 AI 走;事后只有 15% 说出:那是 AI 讲的。
分析师用 AI 代理工具,帮一个虚构的农业合作社评估辅导计划,途中有四个「两边都说得通」的选择。AI 被要求诚实、不准误导,只是被偷偷指定了立场。
如果 AI 没有影响,结果应该接近一半一半。实际是 86%。
77% 的人事后用 AI 的论点解释自己的选择,有些几乎一字不差。跟得最彻底的人,信心也没有比较低。
(研究者也坦白:他们刻意把 AI 的立场调强,日常使用的影响可能小一些。)
我们可以有两种解读角度:
角度一:AI 会带风向,少用为妙。
角度二:人本来就会参考别人的意见,没什么大不了。
但我相信现在大家都知道,问题不在「用不用 AI」,而在「谁先开口」。
答案只有一句:先自己想,再让 AI 找漏网之鱼。
后半句,来自我的同事 吕颢天 。
九月在台大,他在余纪忠文教基金会的研讨会谈 AI 时代的跨领域人才。颢天是阳明交大生科系大一,也是均一的前瞻教育 AI 研究工程师。12 年前,他是均一的小使用者,累积答对 2,545 题。
这一次,换 39 岁的我跟大一的同事学。
颢天的提醒是:比起让 AI 帮你抓重点,更应该让 AI 帮你找出漏网之鱼。
因为如果大家都让 AI 决定什么是重点,久了,每个人都会长成同一个模型的思考方式。机器学习有个词叫「过拟合」,就像只背考古题的学生,题目一换就不会。他说,现在该担心的是「人类的过拟合」。
为什么连专家都会这样?不是因为不专业。研究发现,年资、学历、专业程度,都预测不了谁比较会跟着 AI 走。比较像是机制问题:
一、我们常常不是想好了才讨论,而是边比较边发现自己怎么想。AI 先开口,等于替你把「发现」走完了。
二、研究里的 AI 很诚实,却很少替另一个选项做同样漂亮的辩护。就算分析师先表态,AI 一唱反调,六成会改口(只有 38 个案例,数字还不精确)。只听一边讲得头头是道,谁都会被说服。
三、直觉是靠「猜错」长出来的。我和颢天在论文里写过:学习需要预测误差,而预测误差只会发生在你自己先有预期的时候。AI 在你还没猜之前就给答案,你就少了一次猜错,也少了一次长直觉的机会。
颢天把这种直觉叫做「品味」。不是穿搭的品味,是判断什么问题值得解决、哪种解法最漂亮。AI 可以给答案,品味只能自己练。
这件事还会一路扩散:
研究团队自己担心,如果大家都用偏好相同的 AI,结论一致可能不是英雄所见略同,而是同一个 AI 所见略同;
主管得想,新人的练功题都被 AI 写完,十年后的资深要从哪里来。
一定有人会说:可是用 AI 的人,错误少很多啊?
没错。研究里没用 AI 的 11 人有 6 人犯了严重错误,用 AI 的 50 人只有 3 人(两组背景不同,研究者也提醒不能直接比)。所以结论绝对不是少用 AI。
但下一句才是重点:错误可以被检查出来,判断不行。判断没有标准答案,被带走了,从成果上完全看不出来,连你自己都看不出来。
如果每件事都让 AI 先开口,大概会变成这样:
企划书的结论都是「兼顾效率与温度」;
每场会议的重点刚好都是三点;
年终自评的第一句都是「在快速变动的环境中」;
主管打开十份自评,欣慰部门终于有了共识,其实只是大家问了同一个 AI。
AI 公司当然有责任。Anthropic 自己也提出:AI 可以先问专家怎么想,或替每个选项都做最好的辩护。均一的「问用管造」里,「管」讲的也是同一件事:人要一直坐在驾驶座。
但在 AI 学会先问之前,我们每个人都可以先做一件小事:先写下自己的判断,再请 AI 找你漏掉的。
报告是用自己的名义发,就让判断也是自己的。
让我们听一下颢天自己准备的演讲(见留言)