LLMに自分自身が生成した複数の回答をうまく組み合わさせる方法

本記事では、LLMが自分自身で生成した複数の回答をうまく組み合わせることで、回答の精度が高まるという興味深い研究を紹介します。

一般的には一度の質問に一つの回答を生成するといった使い方がされています。しかしそれでは複雑な問題に対して不十分な場合があります。

そこで今回は、LLMが複数の回答を生成し、それらを活用してより質の高い回答を生み出す方法と、その効果について詳しく紹介していきます。

背景

LLMが複雑な問題を解く際には、しばしば複数の手順や深い思考が求められます。しかし通常の方法で単純に質問を入力するだけでは、正確な答えにたどり着けない場合も少なくありません。

そのため、モデル自身に回答を評価させる「自己修正」と呼ばれる方法や、「複数の候補から最適なものを選ぶ」方法が提案されてきました。しかし最近の研究では、これらの方法があまり効果的でないことが明らかになってきました。

その原因として、LLMが学習の過程で「自らの回答を正しく評価し比較する能力」、いわゆる「識別的判断力」を十分に身につけていないという根本的な問題があると指摘されています。この判断力を向上させるためには、特別な追加学習が必要と考えられています。

また、既存の手法の中でもう一つ有望視されてきたのが「自己整合性」という手法です。これは、LLMが生成した複数の回答から多数決で最も多い回答を選ぶことで正解率を向上させる方法です。しかし回答が明確に定まらない自由記述型の問題には適用が難しく、汎用性に欠けるという問題（限界）があります。

こうした状況を受けて、今回研究者チームは新しい手法の開発に挑みました。外部からのフィードバックや多数決に頼らずに、LLM自身が生成する多様な回答を活用し、それらを統合することで新たな回答を導き出す手法です。

以下で詳しく紹介します。「なんだか難しいな？」と思われる方にとっても、最後まで読めば納得できる内容になっています。