GoogleとEedi、生徒1179人のAI数学指導を研究…課題と総合テストで異なる結果

Eediの選択問題は、誤った選択肢がよくある概念の間違いを示すよう作られています。例えば1/2+1/3を2/5と答えたら、分子同士・分母同士を足す誤解が考えられます。同じ大きさの部分にそろえると3/6+2/6=5/6になる理由を、問いかけで説明する形です。仕組みを示す架空の例で、実験の実際の問題やAIの回答の再現ではありません。

無作為割り当ては、最初の学力や学び方が一つの条件に偏りにくくする分け方です。各生徒は同じ条件で学び、誤答後の支援が次のように違いました。

4条件とも、生徒が自分でヘルプボタンを押して人の指導者に質問することはできました。比較したのは誤答後に自動でつながる支援であり、人の助けが完全にあるかないかではありません。

AIはEedi内で呼び出され、期間中にモデルも更新されました。一つの固定モデルを一般のチャットへ入れて比べた実験と読むと、授業の構成が抜けます。

AI条件では、生徒への送信ごとに数学専門家の承認が必要でした。そのまま承認する、再生成させる、自分で書き直すことができます。生徒が次の返答をすると、また下書きと確認を行う会話が続きました。

%% 生徒へ届く前の確認 · Google・Eedi研究のAI条件
flowchart TD
  A["生徒の誤答・次の質問"] --> B["Geminiが説明を下書き"]
  B --> C["専門家が確認<br/>承認・再生成・修正"]
  C --> D["承認した内容を送信<br/>生徒がもう一度考える"]

専門家が判定した94385件のうち、89406件を修正なしで承認しました。約94.7%で、残り4979件は再生成か書き直しです。生成後に生徒の新しいメッセージで置き換えられ、確認前に除かれた下書きもあり、全生成数と判定数は分ける必要があります。

説明の後に同じ概念の問題を解くことと、多くの単元をまとめて試すことでは測る範囲が違います。研究チームは一つの点数で全体の学習効果を代表せず、次の段階に分けました。

研究チームは考えられる理由の一つとして、深く学ぶ時間と範囲の関係を調べました。1会話に約4〜7分かかり、決まった授業時間で扱う学習単位が減りました。10週間の完了数の中央値は基本支援132、人の指導77、AIの両条件は各99単位です。中央値は生徒ごとの数を小さい順に並べた真ん中の値です。

これは結果の違いを説明する候補です。生徒の構成など他の要因もあり、期間を延ばせば必ず総合成績が上がるという保証ではありません。

報告では、学習履歴型AIは問題文脈型AIより一貫した追加の利点を示しませんでした。ただし実装に、過去の指導チャットのメモが次のセッションへ渡らない不具合がありました。学習単位の到達度・速さ・概念の間違いは渡りましたが、予定した会話履歴全部が使われたわけではありません。

あらゆる個人化が無意味とする結論には広げられません。一方で「学習履歴」という機能名だけで、どの情報が実際に渡ったかを見ずに効果を期待することもできません。