LLMにおける「心の理論」の能力は自然と成長しており、GPT-3は人間の3歳、GPT-4は人間の7歳（基本の概念を理解しているレベル）に相当するとの研究報告があります。
スタンフォードの研究者による発表です。
○ Michal Kosinski, Theory of Mind Might Have Spontaneously Emerged in Large Language Models
心の理論（Theory of Mind, ToM）は、他者の心の状態を理解する能力であり、人間の社会的相互作用やコミュニケーションに不可欠です。
AIがこの能力を持つかどうかは長らくの疑問でしたが、LLMの登場で期待が高まってきました。
研究報告の主な内容は以下のとおりです。
■検証内容
① GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4などが実験対象とされた
② 「偽信念タスク」を用いて心の理論の能力を評価した
（偽信念タスク：他者が持つ誤った信念を理解する能力を測定するもの）
■検証結果
① 古いモデル（GPT-1、GPT-2）は全てのタスクで失敗した
② GPT-3とChatGPT-3.5-turboは、3歳の子供のパフォーマンスに匹敵する
③ ChatGPT-4は、7歳の子供のパフォーマンスに匹敵する（90%のタスクで成功）
■解釈と補足
① LLMの心の理論パフォーマンスは言語能力の向上と連動している可能性がある
② ChatGPT-4のパフォーマンスは非常に堅牢で、課題の微調整や真信念のコントロールを加えても、パフォーマンスはほとんど変わらなかった
なお、「90%のタスクで成功したのに7歳程度？」と思われるかもしれませんが、実は一般的に3歳から7歳の間に子供たちが”基本的な”「心の理論」の能力を獲得するとされています。
（ただし”発展的な”「心の理論」の能力については、その後も成長していくとされています）
📄 参照論文
論文タイトル：Theory of Mind Might Have Spontaneously Emerged in Large Language Models（「心の理論」は大規模な言語モデルにおいて自然発生した可能性）
