人間の「過去の類似事例」と「自らの知見」を組み合わせるアプローチに倣った、LLMの優れたプロンプトフレームワークが発表されました。
DeepMindとスタンフォード大学の研究者らによる報告です。
ユーザー指示で実践する手法も考えられます。
○ Michihiro Yasunaga et al., “Large Language Models as Analogical Reasoners”
LLMの推論能力を向上させるCoTは有用ですが、手間がかかります。
手動のプロンプト作業を少しでも軽減することが求められています。
そこで研究者らは、人間のように自動的に知識を生成する「アナロジカル・プロンプティング」を発明しました。
※アナロジカル：類推的な
■フレームワークの方法論
① 自己生成された例を用いる
② 広範な問題解決の知識を活用
③ 自己生成された例+知識から、高度な出力を生成
■実験の結果
下記の多様な推論タスクで平均的に精度が向上した
・GSM8K：初級の数学
・MATH：中級以上の数学
・Codeforces：プログラミング
・BIG-Bench：自然言語理解、論理、数学
■主な結論と注意点
① 本手法はラベル付けの必要を排除する
② 言語モデルの推論プロセスを効果的にガイドする
③ 本手法が最も効果を発揮するのは、言語モデルが既に持っている広範な知識と関連するタスクである
□追加の考察
LLMがインターネットから情報を取得する能力を駆使すれば、アナロジカル・プロンプティングの適用範囲はさらに広がります。
ただし、インターネットには誤情報も多く存在すること、情報の取得にかかるコストなども考慮する必要があります。
□プロンプトで実践する方法
本来、アナロジカル・プロンプティングは、モデルをアーキテクチャレベルで開発し、自動的に実行されることが想定されています。
しかし、ユーザーが指示を出すことで実践できるフレームワークでもあると考えられます。
※論文では明記されていません。
プロンプト例：
[質問]1. まずは関連する過去の問題や解決策を思い出してください。
2. 次に、高度な知識を活用してください。
3. 元の問題に対する具体的な答えや戦略を生成してください。
