情境示意 · 非服務實錄可汗學院創辦人 Sal Khan 今年坦承:他們的 AI 家教,很多學生其實沒怎麼用。同一個學年,新北一間小學的孩子,卻開始會問 AI 了。兩個不「先」給答案的 AI 家教:Khanmigo vs. 均一 AI 筆記本,哪個比較有效?
先講結論:現在還不能說哪個比較有效。
但把這兩份研究放在一起,會看到一件比「誰贏」更重要的事。
(照片是去年我和可汗學院創辦人 Sal Khan 在天下的線上對談。均一一路向可汗學院學習,我們也在解同一道題:AI 家教,能不能讓每個孩子學得更好?當初的對談影片我也放在留言)
美國:田納西州 18 所中學,Khanmigo
・對象:數學落後、每天上 25 到 40 分鐘補救課的 6 到 8 年級學生。
・設計:兩個學年的隨機對照實驗。每所學校以年級抽籤:抽到的年級在補救課用可汗學院練習,旁邊有 AI 家教 Khanmigo,它始終不給答案,只用提示和反問引導;其他年級照原本方式上。
・成效:數學有進步,一學年約 0.06 到 0.08 個標準差,每人每年成本約 15 美元。但作者判斷,進步主要來自有結構的練習,因為和其他研究估計「沒有 AI 的可汗學院練習」效果相近。
・孩子怎麼用:96% 的學生傳過訊息給它。但排在正中間的那位學生,在自己答錯的題目裡,只有 17% 會傳訊息(按建議按鈕也算)。真正提出數學問題、或說明自己怎麼想的訊息,大約七則才一則。
・一個關鍵細節:今年 1 月,Khanmigo 改成在練習頁面自動跳出來。結果孩子傳訊息的比例,沒有看得出來的變化。
台灣:新北龍埔國小六年級,均一 AI 筆記本
・對象:227 位六年級生,一個學年,數學課。
・設計:國家教育研究院、新北市教育局、龍埔國小和均一一起做的全學年追蹤研究,10/12 剛發表,沒有對照組。
・AI 筆記本採半蘇格拉底式設計:先用提示和講解引導,必要時才給答案。
・課堂做法:老師示範怎麼問,鼓勵孩子從「我不會」說到「我卡在哪裡」;孩子回頭看自己的提問紀錄;老師的後台用紅黃綠燈,看見誰的提問還停在要答案。
・孩子怎麼用:一年近 8 萬筆作答、上萬則提問。直接向 AI 要答案的比例,從 22.6% 降到 5.6%;和理解、解題有關的提問占近六成;提問越深入、越願意自己作答的孩子,進步越明顯。
所以,哪個比較有效?我只能給三個盡量不要誇飾的分析
① 論證據強度:田納西比較強。18 所學校、隨機分派、兩年、有標準化測驗。龍埔只有一所學校,沒有對照組。希望有比較成熟的時機點,台灣可以慢慢走向證據力越來越強的第三方研究。
② 論學業成效:田納西有小而確定的進步,但作者不把它歸功於 AI。龍埔目前公開的是「提問深度和進步有關」,是相關,不是因果,也還沒有效果量。
③ 論孩子有沒有開口問:龍埔的數字比較好看。但田納西是補救班的學生,本來就比較少主動求助;兩邊計算提問的方式也不同,不能直接比大小。而我自己尚無確切證據的近一步推測是有可能台灣的老師比較有花時間在教孩子怎麼提問。
這兩份研究最有意思的,不是比分,而是同一個發現:
兩個 AI 都不「先」給答案。差別,主要在 AI 以外。
田納西幾乎把所有門檻都拿掉了:免費、課表裡有固定時間、老師在場,AI 甚至直接跳到眼前。孩子還是很少開口。
龍埔多做的,是把「怎麼問」當成一項要教、要練、要被看見的能力。
連 Sal 自己都很坦白。他今年接受 Chalkbeat 訪問時說,很多學生其實沒怎麼用 Khanmigo。他打了個比方:就像他坐在教室最後面等學生來問,會來的總是少數。可汗學院的學習長也說,學生其實不太會把問題問好。Sal 的結論是:AI 會幫忙,但「最大的槓桿,是投資在人的系統上」。
我很佩服這樣的坦白,沒有為了要好聽、好看就說 Khanmigo 很多人在用,也沒有試圖違反自然導入的原則去衝量。而在龍埔,「人的系統」不只照顧孩子,也照顧老師。老師不是一個人摸索:國教院的研究團隊和熟悉科技的核心老師先一起備課,再由核心老師帶著其他老師用。
這也是為什麼我認為,台灣下一步,要從「生生用平板」走到「師師用 Tokens」。讓每位老師都有足夠的 AI 額度,在自己的備課和教學裡天天用,而且更重要的是要有有實戰經驗的人帶、有人提點。同一個 AI,大人有人引導,用法就會不一樣;老師自己體會過,才更知道怎麼教孩子問。孩子比大人,一定更需要引導。
這正是台灣可以注意的地方。談 AI 進校園,我們常停在「要不要給」「會不會拿來抄」。但在龍埔這樣的教室裡,老師處理的是更細的問題:孩子怎麼跟 AI 說話?老師看不看得到?課堂資料能不能回頭改善工具?台灣在教育裡導入 AI,可能正走在一條更細緻的路上。
AI 家教有點像健身房會員卡:辦了不等於有去,有去不等於有練。有沒有教練教你怎麼練,可能才是關鍵。而教練自己,也要先練過。
最後補充限制
・龍埔沒有對照組,所以能說「孩子的提問變了」,不能說「是 AI 筆記本造成的」。老師的示範、平台的改版、孩子越用越熟,都同時在發生。
・兩個 AI 的設計也不同:Khanmigo 始終不給答案,AI 筆記本必要時會給。孩子知道問下去終究有答案,可能也比較不會一開口就要答案;美國也有老師觀察到,學生會因為怎樣都拿不到答案而挫折。哪一種設計比較好,這兩份研究都還回答不了。
・老師看得到提問,孩子也可能因此比較少直接要答案。這是好的教學設計,也是之後要分開檢驗的變項。
・田納西的研究是尚未經期刊同儕審查的工作論文,州測驗的結果作者還在整理。可汗學院更大規模的改版,是研究結束後才上線,還沒被評估。
・孩子回家、旁邊沒有老師的時候會不會一樣,也還需要驗證。
利益揭露:AI 筆記本是均一做的,雖然這篇研究並不是均一研究與寫的,但因為有相關性,所以總還是有可能傾像把自己美化,所以還是先自我揭露。也因此寫這篇時,我更提醒自己,不能把「比較好看的數字」說成「比較有效」。教育 AI 的好壞不能自己說了算,我很感謝國教院用研究來把關。下一階段會擴大到五、六年級,並導入 OECD 的 AI 素養架構發展課程。我也很希望,之後能有像田納西那樣有對照組的設計。
這也是我們談「問、用、管、造」AI 素養時,把「問」放在第一個的原因。AI 已經很會答了,接下來要練的,是孩子會不會問。