次回の更新記事:エージェントが手順を飛ばす原因はスキルファイルの…(公開予定日:2026年07月12日)
AIDB Daily Papers

LLMは抽象的な幾何学的構造で推論を支える:人間の脳との類似性

原題: Abstract representational geometry supports inference in large language models
著者: Yunan Zeng, Yuwang Wang
公開日: 2026-06-22 | 分野: LLM 推論 機械学習 AI 深層学習 cs.AI

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 本研究では、LLMが人間のように抽象的なタスク構造を推論できるか、その内部表現を調査した。
  • LLMは人間より推論の一般化は少ないが、推論時には海馬に似た抽象的な幾何学的構造を形成することが示された。
  • モデルの深層で階層的に組織化された幾何学的構造が推論を可能にし、その操作が推論能力を向上させることが明らかになった。

Abstract

A defining feature of human intelligence is the ability to adapt to changing environments by inferring latent task structure from sparse observations. Neuroscientific research indicates that this capability relies on the hippocampus constructing abstract representations, expressed as low-dimensional, approximately orthogonal manifolds in neural state space. However, the internal mechanisms of large language models (LLMs) remain largely opaque, making it unclear whether they form comparable abstract representations or instead rely on task-specific statistical regularities when performing comparable reasoning tasks. Here we adapt a contextual reversal-learning paradigm to a text-based setting and compare humans and LLMs at both the Behavioural and representational levels. We report that although LLMs exhibit generalizable reasoning less frequently than humans, when such inference occurs, their internal states exhibit abstract geometric structures that resemble those reported in the hippocampus. Notably, this representational geometry is not uniformly distributed but is organized hierarchically across model depth: whereas lower layers show early, stable encoding of stimulus identity, higher layers form a hippocampal-like functional band enriched for abstract context geometry associated with inference. Furthermore, complementary intervention experiments mechanistically implicate geometry in reasoning: task-sequence language modelling induces geometric disentanglement, whereas geometric regularization of higher layers increases the emergence of generalizable inference. Together, these findings establish abstract representational geometry as a mechanistic principle supporting inference in large language models.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事