直感に頼るようなタスクだとLLMに「ステップバイステップで考えて」は逆効果

本記事では、LLMの性能向上テクニック「Chain of Thought（CoT）」が逆効果になるケースについての研究を紹介します。

これまでCoTは多くの課題でLLMの性能を向上させる手法として知られてきましたが、人間の認知研究から「考えすぎると失敗するケース」があることにヒントを得た研究者たちが、LLMでも同様の現象が起きるのではないかと考えて検証を行いました。

「ステップバイステップで考えて」があまり意味がないタスクもあるという話は以前にもありましたが、本件では逆効果まで確認されています。

背景

LLMの性能を向上させる手法として、「思考の連鎖」(Chain of Thought、以下CoT)というテクニックが広く使われています。モデルに「ステップバイステップで考えて」と指示したり、回答の過程で考え方を説明してもらったりと段階的な推論を行わせる方法です。

CoTを使うと、いくつかの課題でモデルの性能が向上することが分かっています。多くの場合は数学的な問題や論理的な推論を必要とする課題で効果を発揮します。また、最新のLLMでは標準的な機能としてCoTが組み込まれている場合もあります。

しかし、今回研究者たちは「CoTが性能を低下させるケースもあるのではないか」という疑問を持ちました。というのも、人間の場合、「考えすぎること」が逆効果になる場面があることが心理学の研究などで分かっているからです。

例えば、以下のような場合に人間は「考えすぎると」むしろパフォーマンスが下がることが知られています。

• 暗黙のうちに学んだパターンを認識する時
• 顔を記憶して認識する時
• 例外を含むデータから規則性を見つける時

そこで研究チームは「人間が考えすぎると失敗するようなタスクで、LLMもCoTを使うと失敗するかどうか」という課題を立てました。

この課題を検証するため、心理学の研究で使われた様々なタスクを大規模に再現し、最新のLLMで実験を行いました。

実験アプローチや結果の詳細を以下にまとめます。