次回の更新記事:AIコーディングエージェントのコスト構造を読み解く(公開予定日:2026年05月26日)
AIDB Daily Papers

GazeMind:視線誘導型LLMエージェントによる個別化された認知的負荷評価

原題: GazeMind: A Gaze-Guided LLM Agent for Personalized Cognitive Load Assessment
著者: Bin Wang, Yue Liu, Benjamin Newman, Ajoy S. Fernandes, Zhiyuan Wang, Robert Cavin, Michele A. Cox, Vijay Rajanna, Takumi Bolte, Melissa Hunfalvay, Ulas Bagci, Michael J. Proulx
公開日: 2026-05-07 | 分野: 質問 ウェアラブル 判断 インタラクション インタラクティブシステム インタラクティブ分析 インタラクティブインターフェース インタラクティブ体験 インタラクティブ制御 インタラクティブ設計 インタラクティブ認知 インタラクティブ説明性 提案 説明性 概念 認識 実世界 創造性 診断 cs.HC 専門知識 視覚エージェント 対話システム AIエージェント 検出 計算 解析 コンピュータビジョン 教育AI 解釈性 データセット 推論 機械学習 AI エージェント 認知 対話 計画 評価 LLM 質問応答 視覚 制御 実験 システム 設計 探索 学習 判断力 人間中心設計 人間工学

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • スマートグラス向けに、視線追跡データを活用し認知的負荷を評価するLLMエージェントフレームワークを提案しました。
  • 本研究は、LLMのファインチューニング不要なタスク誘導推論と個別適応により、汎用性と解釈可能性を高めた点が新規的です。
  • 152名を対象とした大規模データセットCogLoad-Benchを用い、既存手法を20%以上上回る最先端の評価結果を得ました。

Abstract

Smart glasses with AI assistants are increasingly used in daily life. However, current systems lack awareness of the user's internal cognitive state, leaving them unable to proactively anticipate users' needs without access to cognitive load. Existing methods for assessing cognitive load either rely on impractical sensors for lightweight eyewear or utilize eye gaze-based models that suffer from poor interpretability, and require task-specific fine-tuning, often failing to generalize across individuals. We propose GazeMind, a gaze-guided LLM agent framework for cognitive load assessment on smart glasses. It encodes eye-tracking data into structured representations for LLM-based reasoning and provides interpretable cognitive load predictions. Importantly, GazeMind generalizes across scenarios without LLM fine-tuning through a novel task-guidance reasoning approach and achieves personalized adaptation by incorporating user-specific characteristics and historical references. To support evaluation, we introduce CogLoad-Bench, the largest gaze-based cognitive load dataset with 152 participants, 40+ hours of multimodal data, and 10K+ real-time annotations across controlled and real-world tasks. Experiments show that GazeMind achieves state-of-the-art performance, outperforming baselines by over 20% across all metrics.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事