次回の更新記事:【論文著者監修・コメント】AIエージェントへの人間…(公開予定日:2026年07月27日)
AIDB Daily Papers

社会的影響力を評価するための認知世界モデル

原題: Cognitive World Models for Process-Level Social Influence Evaluation
著者: Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu
公開日: 2026-06-28 | 分野: LLM エージェント 認知 評価 cs.AI 対話システム

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 対話中のユーザーの信念や感情の変化を追跡する認知世界モデルCogWMを提案した。
  • 従来の指標では困難だった対話プロセスにおけるユーザーの内部状態の変遷を評価できる点が新しい。
  • 実験の結果、既存モデルを大きく上回る精度でユーザーの感情を予測し、エージェントの社会的影響力を正確に識別した。

Abstract

Social influence dialogue changes user behavior by altering internal cognitive states. The central evaluation question is whether the user's beliefs, desires, intentions, and emotions measurably change over the course of conversation, a process-oriented criterion that neither surface-level text metrics (BLEU/ROUGE) nor single-score LLM judgments can capture. We propose the textbf{Cog}nitive textbf{W}orld textbf{M}odel textbf{(CogWM)}, an LLM-based user model that reframes multi-turn dialogue evaluation from ``what did the user say'' to ``how did the user's internal cognitive state evolves.'' CogWM jointly predicts BDI/E cognitive states and user utterances and serves as both a user simulator and an evaluation platform, using a three-tier evaluation framework that covers turn-level fidelity, trajectory-level state dynamics, and task-level composite scoring. Trained via our textbf{S}ummarize-textbf{a}nd-textbf{A}llocate textbf{(SaA)} annotation pipeline on 150,454 user-turn samples across four social influence scenarios, CogWM achieves 77.6% emotion accuracy (2.1× over GPT-5.5). In 3600 multi-agent discrimination trials, it distinguishes six commercial agents by their cognitive influence, with Llama-4-Scout ranking first (CTS +0.233). CogWM moves social influence dialogue evaluation from terminal judgment to process tracking. We have released our codefootnote{scriptsize Code: this https URL} and modelsfootnote{Model: this https URL}.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事