구글·Eedi, 학생 1179명 AI 수학 튜터 연구…단기 과제와 종합시험 결과 갈려

Eedi의 문제는 오답 선택지가 흔한 개념 오류를 가리키도록 설계됐습니다. 가령 1/2+1/3을 2/5라고 답했다면, 분자끼리·분모끼리 더한 오해를 의심할 수 있습니다. 같은 크기의 조각으로 맞춰 3/6+2/6=5/6이 되는 이유를 질문으로 풀어 주는 식입니다. 이는 원리를 설명하기 위한 가상 예시이며, 실험의 실제 문제나 AI 답변을 재현한 것은 아닙니다.

무작위 배정은 출발 성적이나 학습 성향이 한 조건에만 몰리지 않도록 학생을 나누는 방법입니다. 각 학생은 같은 조건으로 학습했고, 오답 뒤 받는 지원이 다음처럼 달랐습니다.

네 조건 모두 학생이 직접 누르는 도움 요청 버튼으로 사람 튜터에게 질문할 수 있었습니다. 따라서 비교한 차이는 오답 뒤 자동으로 연결되는 지원이지, 사람 도움의 완전한 유무가 아닙니다.

AI는 Eedi 안에서 호출됐고, 시험 기간 중 사용 모델도 갱신됐습니다. 하나의 고정 모델을 일반 채팅에 넣고 비교한 실험으로 읽으면 실제 수업 구성이 빠집니다.

AI 조건에서는 학생에게 메시지를 보낼 때마다 수학 전문가의 승인이 필요했습니다. 전문가는 그대로 승인하거나 다시 생성시키거나 직접 고쳐 쓸 수 있었습니다. 학생의 다음 답이 오면 새 초안을 만들고 다시 검토하는 대화가 이어졌습니다.

%% 학생에게 도달하기 전의 검토 · Google·Eedi 연구의 AI 조건
flowchart TD
  A["학생의 오답·다음 질문"] --> B["Gemini가 설명 초안 작성"]
  B --> C["전문가가 승인·재생성·수정"]
  C --> D["승인된 메시지 전달<br/>학생이 다시 풀이"]

전문가가 판정한 초안 94385개 중 89406개를 수정 없이 승인했습니다. 비율은 약 94.7%이며, 나머지 4979개는 재생성하거나 수정했습니다. 먼저 생성됐지만 학생의 새 메시지 때문에 교체돼 검토 전에 제외된 초안도 있어, 전체 생성 수와 검토 판정 수를 구분해야 합니다.

설명을 듣고 같은 개념의 다음 문제를 푸는 것과, 여러 단원의 내용을 한 번에 시험하는 것은 측정 범위가 다릅니다. 연구팀은 어느 한 점수로 전체 학습 효과를 대표하지 않고 다음 수준으로 나누었습니다.

연구팀은 가능한 이유 중 하나로 속도와 범위의 교환을 조사했습니다. 한 대화가 약 4~7분을 써서, 정해진 수업 시간에 다룬 학습단위가 줄었습니다. 10주 동안 완료한 수의 중앙값은 기본 지원 132단위, 사람 튜터 77단위, 두 AI 조건 각각 99단위였습니다. 중앙값은 학생별 수를 크기순으로 놓았을 때 가운데의 값입니다.

이 분석은 시험 결과 차이에 관한 설명 후보입니다. 학생 구성 등 다른 요인도 있어, 시간을 더 주면 반드시 종합 성적이 오른다는 보장은 아닙니다.

학습 이력형 AI는 문제 맥락형 AI보다 일관된 추가 이득을 보이지 않았다고 보고서는 설명합니다. 그러나 실제 구현에는 과거 튜터 대화의 메모가 다음 세션으로 전달되지 않는 오류가 있었습니다. 학습단위의 성취·속도·개념 오류는 전달됐지만, 설계했던 대화 이력 전체가 쓰인 것은 아닙니다.

이 결과를 모든 개인화가 소용없다는 결론으로 넓힐 수는 없습니다. 반대로 ‘학생 이력을 넣었다’는 기능 이름만으로 실제로 어떤 정보가 전달됐는지도 확인하지 않은 채 효과를 기대해서도 안 됩니다.