情境示意 · 非服務實錄可汗学院创办人 Sal Khan 今年坦承:他们的 AI 家教,很多学生其实没怎么用。同一个学年,新北一间小学的孩子,却开始会问 AI 了。两个不「先」给答案的 AI 家教:Khanmigo vs. 均一 AI 笔记本,哪个比较有效?
先讲结论:现在还不能说哪个比较有效。
但把这两份研究放在一起,会看到一件比「谁赢」更重要的事。
(照片是去年我和可汗学院创办人 Sal Khan 在天下的线上对谈。均一一路向可汗学院学习,我们也在解同一道题:AI 家教,能不能让每个孩子学得更好?当初的对谈影片我也放在留言)
美国:田纳西州 18 所中学,Khanmigo
・对象:数学落后、每天上 25 到 40 分钟补救课的 6 到 8 年级学生。
・设计:两个学年的随机对照实验。每所学校以年级抽签:抽到的年级在补救课用可汗学院练习,旁边有 AI 家教 Khanmigo,它始终不给答案,只用提示和反问引导;其他年级照原本方式上。
・成效:数学有进步,一学年约 0.06 到 0.08 个标准差,每人每年成本约 15 美元。但作者判断,进步主要来自有结构的练习,因为和其他研究估计「没有 AI 的可汗学院练习」效果相近。
・孩子怎么用:96% 的学生传过讯息给它。但排在正中间的那位学生,在自己答错的题目里,只有 17% 会传讯息(按建议按钮也算)。真正提出数学问题、或说明自己怎么想的讯息,大约七则才一则。
・一个关键细节:今年 1 月,Khanmigo 改成在练习页面自动跳出来。结果孩子传讯息的比例,没有看得出来的变化。
台湾:新北龙埔国小六年级,均一 AI 笔记本
・对象:227 位六年级生,一个学年,数学课。
・设计:国家教育研究院、新北市教育局、龙埔国小和均一一起做的全学年追踪研究,10/12 刚发表,没有对照组。
・AI 笔记本采半苏格拉底式设计:先用提示和讲解引导,必要时才给答案。
・课堂做法:老师示范怎么问,鼓励孩子从「我不会」说到「我卡在哪里」;孩子回头看自己的提问纪录;老师的后台用红黄绿灯,看见谁的提问还停在要答案。
・孩子怎么用:一年近 8 万笔作答、上万则提问。直接向 AI 要答案的比例,从 22.6% 降到 5.6%;和理解、解题有关的提问占近六成;提问越深入、越愿意自己作答的孩子,进步越明显。
所以,哪个比较有效?我只能给三个尽量不要夸饰的分析
① 论证据强度:田纳西比较强。18 所学校、随机分派、两年、有标准化测验。龙埔只有一所学校,没有对照组。希望有比较成熟的时机点,台湾可以慢慢走向证据力越来越强的第三方研究。
② 论学业成效:田纳西有小而确定的进步,但作者不把它归功于 AI。龙埔目前公开的是「提问深度和进步有关」,是相关,不是因果,也还没有效果量。
③ 论孩子有没有开口问:龙埔的数字比较好看。但田纳西是补救班的学生,本来就比较少主动求助;两边计算提问的方式也不同,不能直接比大小。而我自己尚无确切证据的近一步推测是有可能台湾的老师比较有花时间在教孩子怎么提问。
这两份研究最有意思的,不是比分,而是同一个发现:
两个 AI 都不「先」给答案。差别,主要在 AI 以外。
田纳西几乎把所有门槛都拿掉了:免费、课表里有固定时间、老师在场,AI 甚至直接跳到眼前。孩子还是很少开口。
龙埔多做的,是把「怎么问」当成一项要教、要练、要被看见的能力。
连 Sal 自己都很坦白。他今年接受 Chalkbeat 访问时说,很多学生其实没怎么用 Khanmigo。他打了个比方:就像他坐在教室最后面等学生来问,会来的总是少数。可汗学院的学习长也说,学生其实不太会把问题问好。Sal 的结论是:AI 会帮忙,但「最大的杠杆,是投资在人的系统上」。
我很佩服这样的坦白,没有为了要好听、好看就说 Khanmigo 很多人在用,也没有试图违反自然导入的原则去冲量。而在龙埔,「人的系统」不只照顾孩子,也照顾老师。老师不是一个人摸索:国教院的研究团队和熟悉科技的核心老师先一起备课,再由核心老师带着其他老师用。
这也是为什么我认为,台湾下一步,要从「生生用平板」走到「师师用 Tokens」。让每位老师都有足够的 AI 额度,在自己的备课和教学里天天用,而且更重要的是要有有实战经验的人带、有人提点。同一个 AI,大人有人引导,用法就会不一样;老师自己体会过,才更知道怎么教孩子问。孩子比大人,一定更需要引导。
这正是台湾可以注意的地方。谈 AI 进校园,我们常停在「要不要给」「会不会拿来抄」。但在龙埔这样的教室里,老师处理的是更细的问题:孩子怎么跟 AI 说话?老师看不看得到?课堂资料能不能回头改善工具?台湾在教育里导入 AI,可能正走在一条更细致的路上。
AI 家教有点像健身房会员卡:办了不等于有去,有去不等于有练。有没有教练教你怎么练,可能才是关键。而教练自己,也要先练过。
最后补充限制
・龙埔没有对照组,所以能说「孩子的提问变了」,不能说「是 AI 笔记本造成的」。老师的示范、平台的改版、孩子越用越熟,都同时在发生。
・两个 AI 的设计也不同:Khanmigo 始终不给答案,AI 笔记本必要时会给。孩子知道问下去终究有答案,可能也比较不会一开口就要答案;美国也有老师观察到,学生会因为怎样都拿不到答案而挫折。哪一种设计比较好,这两份研究都还回答不了。
・老师看得到提问,孩子也可能因此比较少直接要答案。这是好的教学设计,也是之后要分开检验的变项。
・田纳西的研究是尚未经期刊同侪审查的工作论文,州测验的结果作者还在整理。可汗学院更大规模的改版,是研究结束后才上线,还没被评估。
・孩子回家、旁边没有老师的时候会不会一样,也还需要验证。
利益揭露:AI 笔记本是均一做的,虽然这篇研究并不是均一研究与写的,但因为有相关性,所以总还是有可能倾像把自己美化,所以还是先自我揭露。也因此写这篇时,我更提醒自己,不能把「比较好看的数字」说成「比较有效」。教育 AI 的好坏不能自己说了算,我很感谢国教院用研究来把关。下一阶段会扩大到五、六年级,并导入 OECD 的 AI 素养架构发展课程。我也很希望,之后能有像田纳西那样有对照组的设计。
这也是我们谈「问、用、管、造」AI 素养时,把「问」放在第一个的原因。AI 已经很会答了,接下来要练的,是孩子会不会问。