「ステップバイステップで考えてください」といったプロンプトで知られるChain-of-Thought（CoT）手法に匹敵する性能を持つプロンプト手法『Inferential Exclusion Prompting（IEP）』が研究者たちによって開発されました。IEPは大規模言語モデル（LLM）に非線形的な思考をさせることを目的としています。

IEPは、さまざまなタスクでCoTを上回る性能を示しています。また、さらに興味深いことに、CoTと統合することで、その効果はより一層高まる場合があります。

この研究は、カリフォルニア大学やペンシルバニア大学などの研究者によって行われました。

参照論文情報

・タイトル：Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs’ Non-linear Thinking
・著者：Yongqi Tong, Yifan Wang, Dawei Li, Sizhe Wang, Zi Lin, Simeng Han, Jingbo Shang
・所属：University of California San Diego, University of Pennsylvania, University of Southern California, Yale University
・URL：https://doi.org/10.48550/arXiv.2310.12342

従来の課題や背景

CoTの特徴と単一で使用する際の限界

Chain-of-Thought（CoT）は、LLMに推論能力を付与するための一般的な手法です。CoTは線形的な（直線的な）推論を実行させます。簡単に言うと「Aが真ならばBが真」といった形の推論を行わせることが多いです。

CoTは、問題解決の過程を一連のステップに分解し、それぞれのステップで特定の推論を行わせます。例えば、「雨が降っているなら、傘を持つべきだ」というような線形的な推論がCoTの一例です。質問応答（QA）タスクなどでよく使用されます。

しかし、このアプローチにはいくつかの問題点があります。

誤差の伝播

CoTは一つの思考のステップが次のステップに影響を与えるという連鎖的な構造を持っています。そのため、中間のステップで生じたわずかな誤差が、連鎖全体に伝播してしまう可能性があります。

CoTの中間ステップの評価は困難であり、最終的な答えだけが評価される傾向があります。中間ステップでの不適切な推論が検出されず、推論の信頼性が低下する場合があります。

単一思考の制限

CoTは段階的な推論を実行させるため、多角的な視点や非線形的な思考が疎かにされがちです。複雑な問題に対する多面的な解決策が見落とされる可能性があります。

「非線形」とは？という疑問に対しては後述します。

現実世界の問題は、しばしばCoTのような線形的な推論では解決できないほど複雑です。一方で、われわれ人間の思考は、直感的な発散思考や逆転思考を用いて、多角的な解決策を模索しています。

以上のように、CoTは多くの有用な側面を持ちつつも、その限界と課題が明らかになっています。これらの問題を解決し、LLMの推論能力をさらに高めるためには、新しいフレームワークと手法が必要です。

本記事の関連研究：LLMにまず前提から尋ることで出力精度を向上させる『ステップバック・プロンプティング』と実行プロンプト

IEPのフレームワーク

今回研究者たちは、LLMに高度な推論能力を持たせる新しいフレームワーク、『Inferential Exclusion Prompting（IEP）』を提案しています。複雑な問題解決において、従来のCoT方式の限界を超えることを目的としています。

主要なステップ

IEPフレームワークは主に以下の3つのステップから成り立っています。