質問を再読させることでLLMの推論能力が向上するとの報告がありました。
Microsoftなどの研究グループによる発表です。
研究者らは上記の戦略を「RE2戦略(Re-reading)」と命名し、プロンプトテンプレートを提供しています。
○ Xiaohan Xu et al. Re-Reading Improves Reasoning in Language Models
人間が質問内容をよく理解するときに「もう一度読む」ことに着想を得て、研究者らはLLMにとっても再読することは普遍的な戦略であると仮定し、手法の効果を検証しました。
■検証結果
下記の推論ベンチマークのほとんどで、RE2戦略が推論能力を向上させる結果となりました。
・算術タスク
・常識タスク
・記号的推論タスク(パターン認識のようなものを含むタスク)
また、Chain-of-Thought(CoT)プロンプト手法に適用した場合に顕著な効果が見られました。
■RE2戦略のプロンプトテンプレート
質問:〜〜〜
質問をもう一度読んでください:〜〜〜(同じ内容)
ステップバイステップで考えてください。
研究者らは、RE2戦略はさまざまなモデルとアルゴリズムに適用できる普遍性を持っていると主張しています。
より注意と豊かな推論をさせることができる手法とのことです。