次回の更新記事:AIエージェントの実力はハーネスで変わる(公開予定日:2026年06月01日)
AIDB Daily Papers

AIはあなたの知識を推測できるか?コミュニケーションログからの大規模言語モデルによる専門知識推定の性能比較

原題: Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs
著者: Ko Watanabe, Shoya Ishimaru
公開日: 2026-05-21 | 分野: LLM AI コミュニケーション 組織 cs.CL cs.HC

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 本研究では、大規模言語モデル(LLM)がSlackのログから個人の専門知識を推定できるかを検証した。
  • LLMによる専門知識推定は、組織内の「誰が何を知っているか」を特定する課題解決に貢献する点で重要である。
  • Gemini 2.5 Flashが最も低い誤差を示し、メッセージ量と推定精度の相関は弱いことが明らかとなった。

Abstract

Employees often struggle to identify ``who knows what,'' leading to organizational productivity losses. We investigate whether Large Language Models (LLMs) can infer individual domain knowledge directly from long-term Slack logs. Analyzing 27,188 messages from 43 users, we evaluated seven models (including Gemini, Claude, and GPT families) by comparing their zero-shot estimates against self-reported skill ratings from 27 participants. Gemini 2.5 Flash achieved the lowest error (MAE 21.13%), while GPT models showed significantly larger discrepancies. Notably, estimation accuracy depended only weakly on message volume, indicating that more text alone does not guarantee better inference. These findings demonstrate the feasibility and current limits of automated expertise mapping, highlighting the need for privacy-preserving deployments and richer, structure-aware representations of human knowledge.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事