この記事では、LLMが自分自身の行動を反省して振り返る機能を持つことでどのような効果があるかについての研究を紹介します。

研究者たちは9種類のLLMと8種類の自己反省手法を使い、さまざまな分野の1,000問のテストで「問題を解く能力」がどれだけ良くなるかを調べました。

単に問題をもう一度解いてみるような簡単な方法から、詳しく説明を加えるような複雑な方法まで、さまざまなタイプの自己反省の効果を分析し、どの方法が一番効果的かを見つけ出そうとしました。

背景

LLMベースのエージェント（LLMエージェント）の開発が進んでいます。LLMエージェントは複数の手順が必要な問題を解くこと、ウェブブラウザや検索エンジン、プログラムを実行するツールなども使えることが期待されています。

しかし、LLMエージェントには課題もあります。知識に限りがあったり、推論を間違えたり、実際にはない情報を出力したり、あまり意味のない繰り返しをしたりすることがあります。このような問題を改善するために、さまざまな能力が追加されたエージェントが設計されてきました。例えば、「考えの流れを示す方法」や「外部の記憶を使う方法」、「フィードバックから学ぶ方法」などが考案されてきました。

フィードバックから学ぶ方法については、フィードバックが自分の中から来るか外からくるか、数値や言葉のどちらで表されるか、モデルの訓練時や出力を作る時、出力した後のどのタイミングで学ぶかなど、さまざまな観点から研究が行われています。
そして、出力した”後”に学ぶ方法として、「何度も改善を繰り返す方法」や「複数のモデルで話し合う方法」、「自己反省」などがあります。

「自己反省」は、LLMエージェントが自分の思考を管理する戦略の一つとして注目されています。一部の研究では、LLMは自己反省を行うことで自らの間違いを見つけて直せることが分かっています。より詳しくは「LLMは推論の間違いを見つけることはできないが、外からのフィードバックを基に直せる可能性もある」と指摘されています。つまり、おそらく考えの間違いは正せないが、答えは修正できるということです。

そこで今回研究者らは、これまでの研究を踏まえて、LLMエージェントの問題解決性能を上げるために「自己反省」がどのように役立つかを調べることにしました。そして、自己反省のプロセスをいくつかの要素に分け、それぞれの要素がエージェントの全体的な性能向上にどのくらい貢献するかを明らかにしました。

GPT-4やLlama 2 70B、Gemini 1.5 Proなどのさまざまな種類のLLMや、数学、科学、医学などのさまざまな問題分野で、自己内省がどのような効果をもたらすかについて細かく調査しています。

以下で詳しく紹介します。