AIDB Daily Papers
LLMは行動模倣を超えて人間の認知をシミュレートできるか?:AI研究者の論文軌跡からの検証
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究では、LLMが人間の認知をシミュレートできるかを、AI研究者の論文データを用いて検証した。
- 既存研究の課題を克服するため、分野を跨いだ時間的変化を考慮し、個人の認知パターンを捉える評価基準を導入した点が新しい。
- 最先端LLMの評価により、認知パターンのシミュレーション能力は限定的であり、既存技術での改善も難しいことが示唆された。
Abstract
An essential problem in artificial intelligence is whether LLMs can simulate human cognition or merely imitate surface-level behaviors, while existing datasets suffer from either synthetic reasoning traces or population-level aggregation, failing to capture authentic individual cognitive patterns. We introduce a benchmark grounded in the longitudinal research trajectories of 217 researchers across diverse domains of artificial intelligence, where each author's scientific publications serve as an externalized representation of their cognitive processes. To distinguish whether LLMs transfer cognitive patterns or merely imitate behaviors, our benchmark deliberately employs a cross-domain, temporal-shift generalization setting. A multidimensional cognitive alignment metric is further proposed to assess individual-level cognitive consistency. Through systematic evaluation of state-of-the-art LLMs and various enhancement techniques, we provide a first-stage empirical study on the questions: (1) How well do current LLMs simulate human cognition? and (2) How far can existing techniques enhance these capabilities?
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: