AIDB Daily Papers
LLMは自己を語る:大規模言語モデルの自己認識能力の評価と解明
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 大規模言語モデル(LLM)における自己認識能力を、厳密な評価と説明を通じて検証する研究を行った。
- 自己認識をモデルのポリシーとパラメータに対する演算として定義し、評価スイートIntrospect-Benchを提案することで、より正確な評価を目指す。
- 最先端モデルは自身のポリシーへのアクセス能力を示し、明示的な訓練なしに自己認識メカニズムが注意拡散を通じて出現することを明らかにした。
Abstract
A hallmark of human intelligence is Introspection-the ability to assess and reason about one's own cognitive processes. Introspection has emerged as a promising but contested capability in large language models (LLMs). However, current evaluations often fail to distinguish genuine meta-cognition from the mere application of general world knowledge or text-based self-simulation. In this work, we propose a principled taxonomy that formalizes introspection as the latent computation of specific operators over a model's policy and parameters. To isolate the components of generalized introspection, we present Introspect-Bench, a multifaceted evaluation suite designed for rigorous capability testing. Our results show that frontier models exhibit privileged access to their own policies, outperforming peer models in predicting their own behavior. Furthermore, we provide causal, mechanistic evidence explaining both how LLMs learn to introspect without explicit training, and how the mechanism of introspection emerges via attention diffusion.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: