LLMに言語を超えた抽象思考回路の存在

人が複数の言語を話すとき、ことばを超えた概念に基づいて考えます。
（例えば頭の中で「愛」は、英語の「love」と同じ抽象的な概念を指しています）
LLMも、発達するにつれて、こうした”特定の言語に依存しない「共通の思考回路」”のようなものが形成されていることが分かりました。

つまり最近のAIは言語を学習する過程で人のような「抽象思考」を獲得している可能性があるとの報告です。

興味深いことに、この共通思考回路に関わるニューロンはモデル全体のわずか1%未満しかありません。
しかし、この小さな部分を無効化すると、モデルの全言語での性能が劇的に低下するそうです。
人の脳の大事な部分を損傷すると言語能力に広く影響するのと似ています。

最新のモデルほど、この共通思考回路が発達しているとのことです。

これは、AIは単に言語を暗記しているのではないのではなく「考える」能力を身につけつつあることを示唆するのではないかと述べられています。