本記事では、LLMに三段論法による推論能力を付与する新しいフレームワークを紹介します。

LLMは豊富な事前学習により推論能力を持っていますが、その推論過程には厳密性が欠けることがあります。

そこで研究者らは人間の三段論法による推論プロセスを参考に、LLMの推論をより厳密にし、複雑な知識ベースの推論タスクでの性能向上を目指しました。

背景

人間の重要な能力に「演繹推論」があります。演繹推論とは、既存の知識を基に複雑な問題を解決する思考方法です。最近のLLMは豊富な事前学習によって演繹的な推論能力を身につけ、Chain-of-Thoughtプロンプト（ステップバイステップの思考を促すプロンプト）の導入によってさらにその能力が向上しました。

しかし、LLMによる推論には厳密性が欠けることがあり、正しい推論経路から外れてしまう場合があります。また、形式言語に基づく推論エンジンや自動定理証明は厳密な推論を可能にしますが、日常的な質問応答などの知識ベースの推論タスクには適用が困難です。

そこで、人間が行う三段論法による推論が注目されます。三段論法とは、大前提と小前提から結論を導く厳密な演繹推論の一つです。

今回研究者らは、LLMにこの三段論法による推論を行わせることで、推論の厳密性を高め、錯覚を減らし、複雑なタスクでのパフォーマンスを向上させられると考えました。そして三段論法をLLMに実行させるためのプロンプト手法を考案しました。
問題の解釈から始まり、大前提の提案、小前提の生成と回答、最終的な三段論法による推論という合計5段階で構成される手法です。各段階で必要な情報のみを参照することで、推論の厳密性を保ちながら、様々な知識ベースの推論タスクに対応することが目指されています。

以下で詳しく紹介します。