視線とLLMで学習者の認知状態を可視化

人の目の動きを記録する「アイトラッキング」とLLMを組み合わせることで、学習者の認知状態や行動パターンを分析することができたと報告されています。

研究者らは、専門家の判断とAIの分析を組み合わせることで、学習者がどこでつまずいているか、どのような認知的困難を抱えているかを「視線から」自動的に検出できるシステムを作りました。

実験では、プログラミング学習の目の動きを分析し、学生と専門家の行動パターンの違いを分析した結果、問題の難易度を最大50%の精度で予測できたそうです。
また、個々の学生の学習上の問題点を特定することができたとのことです。
さらに興味深いことに、学習者の異常な視線パターンから、問題自体に欠陥があるケースまで発見できました。

こうした技術は個別指導システムや、医療、インターフェース設計など幅広い分野での応用が期待されます。
人間の認知プロセスに基づいたシステムを構築する道を開いていると言えます

これまではアイトラッキングデータは数値の羅列であり、そこから意味のある情報を読み取るには専門知識が必要でしたが、LLMと組み合わせることで活用のハードルが下がり幅が広がった格好です。