LLMによる「親切なフィードバック」は本当に学習効果を上げる？高校生を対象に検証

LLMに学習者へのフィードバックを書かせるとき、つい欲張ってしまいます。トーンはやわらかく、重要語はハイライトして、ついでに発展的な話題もちょっと足して、最後は褒め言葉で締めて。工夫を重ねるほど良くなりそうな気がするからです。

でも、この直感は本当に正しいのか。ポジティブに返すのが正解なのか。網羅的に書けば書くほど学習者は理解してくれるのか。それとも、受け取る側の性格によって「刺さる書き方」は違ってくるのか。LLMをユーザーへのアドバイスや指導に使うプロダクトが増えるほど、この問いは無視できなくなってきています。

本記事は、書き方の違うフィードバックを6通り作り分け、高校1年生321名に生物の問題を解かせて成績と主観評価の両方を測った調査を取り上げます。「どんな書き方がどんな相手に効くのか」という問いに、できるだけ厳密に答えにいった調査です。LLMでユーザーに何かを返すプロダクトを設計している人にとって、デフォルトのプロンプト設計を見直す材料になる内容です。

プロンプトが成績にどう響くか