AIDB Daily Papers
学生はLLMを教育者の意図と異なる方法で使用している
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 教育用NLPシステムの評価指標を、対話データから学習目標との整合性を測る6つの計算メトリクスに拡張した。
- 教育者は継続的な対話を意図するが、学生は主に回答抽出目的でLLMを利用しており、利用状況はコースへの統合度合いに強く依存する。
- 従来の評価方法では見落とされがちな、LLMの利用実態と教育目標との乖離を定量的に明らかにした。
Abstract
Educational NLP systems are typically evaluated using engagement metrics and satisfaction surveys, which are at best a proxy for meeting pedagogical goals. We introduce six computational metrics for automated evaluation of pedagogical alignment in student-AI dialogue. We validate our metrics through analysis of 12,650 messages across 500 conversations from four courses. Using our metrics, we identify a fundamental misalignment: educators design conversational tutors for sustained learning dialogue, but students mainly use them for answer-extraction. Deployment context is the strongest predictor of usage patterns, outweighing student preference or system design: when AI tools are optional, usage concentrates around deadlines; when integrated into course structure, students ask for solutions to verbatim assignment questions. Whole-dialogue evaluation misses these turn-by-turn patterns. Our metrics will enable researchers building educational dialogue systems to measure whether they are achieving their pedagogical goals.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: