LLMの内部にある世界モデルに問いかける形でタスクを投げると、CoTがほぼ完全に失敗するタスクでも成功することが明らかにされました。
本手法『RAP（Reasoning via Planning）』フレームワークを、（通常はGPT-4に及ばないとされる）LLaMA-33Bに適用すると、GPT-4+CoTよりも高性能にできるとのこと。
カリフォルニア大学などの研究者らによる発表です。
@ Shibo Hao et al., “Reasoning with Language Model is Planning with World Model”
LLMは、ステップバイステップの推論を実行する能力を示していますが、一方で人間が簡単に解決できる問題で苦労することがあります。
長期的な因果関係をシミュレートするための「世界モデル」が不完全であることが理由の一端だと考えられています。
そこで研究者らはLLMを世界モデルとして利用するための補完的フレームワーク『RAP（Reasoning via Planning）』を提案しています。
■『RAP』の仕組み
① Monte Carlo Tree Search（MCTS）に基づく計画アルゴリズムを組み込む
② LLMは、推論中に最も有望な推論ステップ（行動）を反復的に考慮
③ その結果、高精度に未来の結果を予測
④ 探索（未訪問の推論トレース）と活用（これまでに識別された最良の推論ステップ）の適切なバランスを維持
■フレームワークの性能評価
① 多様な推論問題にで既存のベースラインと比較
② プラン生成、数学的推論、論理的推論など
③ 実験には主にLLaMA-33Bモデルが使用された
■性能を評価する実験の結果
① Blocksworld（ブロックの世界）という問題で平均成功率が64%だった
② 上記の課題にCoT（Chain-of-Thought）はほぼ完全に失敗した
③ LLaMA-33B + RAPは、GPT-4+CoTよりも33%高い性能だった
④ RAPは、最初の直感がうまくいかない場合にも他の解決策を試す能力がある
■実装・実行方法
Monte Carlo Tree Search（MCTS）に基づく計画アルゴリズムを組み込んだ上で、適切なプロンプトを使用します。
※MCTSは概念的なものではなく、具体的なプログラムの構築が必要です。
（実装や実行のロジックについては複雑のため本ポストでは表現しきれませんが、記事化の際にはより詳しく解説いたします）
■主な結論と注意点
① RAPフレームワークは、LLMが人間のように計画的な推論を行う能力を高める
② さまざまな推論問題で高い性能を達成した
③ RAPはLLMの「世界モデル」を必要とするため、その設定と調整が重要
④ 論文では特定のタスクに対する報酬関数の設計も重要な要素とされている
