LLMに多面的な思考の観点から複数の解答を生成させ、自ら比較して最適な答えを導かせるアプローチ『Self-Contrast』がプロンプト例とともに公開されています。
平たく言えば自ら反省してより良い行動をとらせる手法です。
“Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives”より
LLMの反省能力は、外部フィードバックなしでは過信などが原因で不安定だと言われています。
今回、異なる解答を比較して反省を促すアプローチが考案されました。
■プロンプトテンプレート例
※論文をもとに日本語で簡略化しています。
1. あなたは多様な視点から問題を解決するスペシャリストです。問題に対して、多面的な思考(論理的思考、水平思考、類推的思考など)、異なる推論の視点(トップダウン、ボトムアップ、ステップバイステップなど)、異なる関心の重点(実体語、数値、単位、パーセンテージ、数学の知識など)を使用して複数の解答を作成してください。
2. 各解の解決ステップの違いを丁寧に比較してください。比較する際は、以下の点を考慮してください:
– 最終的な答えと数式が異なるか?
– 解決ステップと数式の違いはどこにあるか?
– なぜ答えが異なるのか?
3. 解の不一致の背後にある理由を慎重に検討し、解決策の修正を行なってください。
■実験結果
– 標準的な反省手法と比べ、数学的推論や翻訳タスクで向上を示した
– GPT-3.5/4やLlama2ファミリーで良好な結果を達成した
– マルチエージェントやアンサンブルと比較しても匹敵する戦略だった
