AIエージェントが賢くなるためには必ず「世界の仕組み」を理解していなければならないということを数学的に証明したとのこと。
これまでAIには環境の仕組みを詳しくは学習させずに、ただ行動と結果の関係だけを覚えて賢くさせようとする方法が人気でした。これが簡単で実用的だと考えられてきたそうです。
ところが、複数のステップを辿って目標を達成できるような賢いエージェントを作ろうとすると、そのエージェントは必然的に環境の仕組み(いわゆる世界モデル)を頭の中で理解している必要があるとのこと。
この発見は研究者や開発者たちにとっては難題を与えるものであると同時に、AIの安全性においては朗報でもあります。そのAIが何を考えているかを予測しやすくなる可能性があるからです。
実際に研究者たちは、エージェントの行動パターンを観察することでそのエージェントが内部で持っている世界モデルを逆算できるアルゴリズムも開発しました。