GPT-4などのLLMに、CoTのように直線的(線形的)ではなく、複数の条件を考慮させる(非線形的)プロンプト手法『Inferential Exclusion Prompting(IEP)』が考案されました。
さまざまなタスクでCoTを一貫して上回り、さらにCoTと統合することでより強力になるとのこと。
実行プロンプトはテンプレート化可能です。
カリフォルニア大学やペンシルバニア大学などの研究者らによる報告です。
@ Yongqi Tong et al., “Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs’ Non-linear Thinking”
LLMに高度な推論能力を持たせる手法として優秀なCoTテクニック※は、「Aが真ならBが真」のような直線的(線形的)な思考を行わせます。
しかし現実問題はそこまで単純ではありません。
そこで研究者らは、複数の選択肢とその組み合わせを考慮する推論を実行させるプロンプト手法『Inferential Exclusion Prompting(IEP)』を考案しました。
※CoTとは、「ステップバイステップで考えてください」などの指示で実行できる、直線的かつ段階的な推論テクニックです。
■IEPのフレームワーク
以下3つの主要なステップから成ります。
① 計画(Planning):質問を理解させ複数の回答を出力させる
② 推論(Inferring):前提を確認させる
③ 除去(Eliminating):前提に矛盾する選択肢を除去し、整合性のとれる選択肢を残す
■IEPメソッドの性能テスト
・Mental-Ability Reasoning Benchmark(MARB)という新しいベンチマークで実験
・MARBは、6つの新しいサブタスクと合計9,115の質問を含む
■テストの結果
・IEPは、さまざまなタスクでCoTを一貫して上回る性能を示した
・IEPとCoTを統合することで、特定のタスクでさらに性能が向上することが確認された
■実装方法・使い方
下記のプロンプトテンプレートで実行可能です。
※論文内容をもとに日本語で具体化しました。
ユーザー:[複数の選択肢が回答されるように質問]LLM:[複数の選択肢を回答]ユーザー:もしその推論が真だとすれば、前提は何ですか?
LLM:〜〜〜
ユーザー:さきほどの選択肢は、それらの前提と矛盾しますか?
LLM:〜〜〜
ユーザー:最終的な答えは何ですか?
LLM:〜〜〜
上記の各ユーザープロンプトにおいて「ステップバイステップで考えてください」を取り付けることで、さらに強力になる場合もあるとのことです。