次回の更新記事:AIエージェントで論文内容を再現するワークフロー(…(公開予定日:2026年04月30日)
AIDB Daily Papers

LLMは注意を理解できるか?マルチモーダルな教室での行動をゼロショット分析

原題: Can LLMs Reason About Attention? Towards Zero-Shot Analysis of Multimodal Classroom Behavior
著者: Nolan Platt, Sehrish Nizamani, Alp Tural, Elif Tural, Saad Nizamani, Andrew Katz, Yoonje Lee, Nada Basit
公開日: 2026-04-03 | 分野: LLM NLP マルチモーダル コンピュータビジョン 教育AI 人間 機械学習 AI 動画 プライバシー 行動 分析 ウェブ 空間 深層学習 ヒューマンコンピュータインタラクション

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • プライバシー保護に配慮した教室動画分析パイプラインを提案し、学生の注意に関する洞察を抽出する。
  • 個人を特定できる映像を保存せず、姿勢と視線データのみを使用し、LLMによる行動分析を可能にした点が新しい。
  • LLMはマルチモーダルな行動理解に有望だが、教室レイアウトに関する空間推論には課題が残ることを明らかにした。

Abstract

Understanding student engagement usually requires time-consuming manual observation or invasive recording that raises privacy concerns. We present a privacy-preserving pipeline that analyzes classroom videos to extract insights about student attention, without storing any identifiable footage. Our system runs on a single GPU, using OpenPose for skeletal extraction and Gaze-LLE for visual attention estimation. Original video frames are deleted immediately after pose extraction, thus only geometric coordinates (stored as JSON) are retained, ensuring compliance with FERPA. The extracted pose and gaze data is processed by QwQ-32B-Reasoning, which performs zero-shot analysis of student behavior across lecture segments. Instructors access results through a web dashboard featuring attention heatmaps and behavioral summaries. Our preliminary findings suggest that LLMs may show promise for multimodal behavior understanding, although they still struggle with spatial reasoning about classroom layouts. We discuss these limitations and outline directions for improving LLM spatial comprehension in educational analytics contexts.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事