本記事では、LLMの推論精度を改善するための新しいフレームワークを取り上げます。

5つの推論ベンチマークと3つのLLMを用いた実験により、他の手法を一貫して上回る性能を示しています。

背景

LLMは、数学的な問題解決から複雑な論理推論まで、幅広い分野で強い能力を発揮するようになっています。この成功を支えているのが「Chain-of-Thought（チェーン・オブ・ソート）」と呼ばれる手法です。これは、LLMに最終的な答えだけを出力させるのではなく、途中の思考過程を段階的に言語化させる技術です。モデルの意思決定プロセスを可視化できるため、解釈性が高まるだけでなく、反復的な改善の余地も生まれました。

しかし、LLMが生成する推論の流れには脆弱性が潜んでいます。それは推論の途中で一つのステップに誤りが生じると、その誤りが下流のステップに伝播し、最終的に不正確な答えや一貫性のない結論に至ってしまうことです。

そのため、複数ステップにわたる推論を信頼性高く評価し、改善していく手法が求められています。
これまでは、主に二つのアプローチが試みられてきました。

一つはモデルに複数の回答候補を生成させ、それぞれに信頼度スコアを付与して、最も信頼できるものを選び出すという方法です。LLMを審査員として活用したり、専用のランキングモデルを用いたりしますが、完成した推論全体に対して大雑把な評価を行うため、長い推論の中に埋もれた微細なステップレベルのエラーを見逃しがちという欠点があります。

もう一つのアプローチはLLMに自分自身の回答を批評させ、反復的に修正を加えていく手法です。一定の成果は得られているものの、全体的なフィードバックに依存するため、推論のどこで具体的に誤りが生じているのかをピンポイントで特定し、修正することが困難でした。

結果として、両方とも、複雑な推論タスクにおいてエラー修正を提供するには至っていません。

そこで本記事では、こうした問題を解決するべくLLMの推論ステップを綿密に改善するフレームワークを取り上げます。