LLMに何度も答えさせるコストを10分の1に削減する手法

この記事では、LLMに何回か答えを出させて多数決をとるときの、計算コストを減らす方法を紹介します。

LLMは1回の回答だけでは不安なことがあり、何度か答えを出して多数決をとる方法がよく使われます。ただし、この方法は計算に時間やコストがかかります。

そこで、問題ごとに必要な回数だけ答えを出すことと、複数のLLMをうまく組み合わせること、どちらも計算量を大きく減らせることがわかりました。

どうやってそれを実現するのか、見ていきましょう。

背景

ここ数年、注目されているのは、LLMが持つ複雑な推論の力です。数学の問題を解いたり、論理的に物事を判断したりする能力のことです。この分野でブレイクスルーとなったのが、「Chain-of-Thought（思考の連鎖）」という手法でした。答えをいきなり出すのではなく、人間のように考える過程を言葉で説明しながら答えを導き出す方法です。たとえば「ステップ1では…、ステップ2では…」と順を追って考えを進めることで、モデルの正解率が大きく向上することが分かっています。

そして今は、答えを出すときに多くの計算力を使って、より良い答えを出そうという新しい考え方が注目されています。その中でも代表的な方法が、同じ質問をLLMに何回も（N回）答えさせて、その中で一番いいものを選ぶというものです。答えの選び方にはいろいろありますが、一番かんたんで効果があるのが「多数決」です。つまり、いちばん多く出てきた答えを正解として選ぶ方法です。

多数決には大きなメリットがあります。むずかしい仕組みを実装せず安定して性能が上がっていくという特徴があります。実際、いくつものデータセットで、生成回数Nを増やすほど正解率が上がることが確認されています。

理論的には、無限に答えを出して多数決をとれば、そのモデルが出せるいちばん良い答えが得られると考えられます。でも、実際には無限に答えを出すことはできません。だから、計算コスト（どれだけ計算力がかかるか）とのバランスがとても大事になります。限られた計算リソースの中で、どうすればできるだけ効率よくこの理想に近づけるか。本記事では、そのような現実的な問題を取り上げます。