AIDB Daily Papers
AIはあなたの知識を推測できるか?コミュニケーションログからの大規模言語モデルによる専門知識推定の性能比較
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究では、大規模言語モデル(LLM)がSlackのログから個人の専門知識を推定できるかを検証した。
- LLMによる専門知識推定は、組織内の「誰が何を知っているか」を特定する課題解決に貢献する点で重要である。
- Gemini 2.5 Flashが最も低い誤差を示し、メッセージ量と推定精度の相関は弱いことが明らかとなった。
Abstract
Employees often struggle to identify ``who knows what,'' leading to organizational productivity losses. We investigate whether Large Language Models (LLMs) can infer individual domain knowledge directly from long-term Slack logs. Analyzing 27,188 messages from 43 users, we evaluated seven models (including Gemini, Claude, and GPT families) by comparing their zero-shot estimates against self-reported skill ratings from 27 participants. Gemini 2.5 Flash achieved the lowest error (MAE 21.13%), while GPT models showed significantly larger discrepancies. Notably, estimation accuracy depended only weakly on message volume, indicating that more text alone does not guarantee better inference. These findings demonstrate the feasibility and current limits of automated expertise mapping, highlighting the need for privacy-preserving deployments and richer, structure-aware representations of human knowledge.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: