直感に頼るようなタスクだとLLMに「ステップバイステップで考えて」は逆効果

本記事では、LLMの性能向上テクニック「Chain of Thought（CoT）」が逆効果になるケースについての研究を紹介します。

これまでCoTは多くの課題でLLMの性能を向上させる手法として知られてきましたが、人間の認知研究から「考えすぎると失敗するケース」があることにヒントを得た研究者たちが、LLMでも同様の現象が起きるのではないかと考えて検証を行いました。

「ステップバイステップで考えて」があまり意味がないタスクもあるという話は以前にもありましたが、本件では逆効果まで確認されています。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

参照論文情報

タイトル：Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

著者：Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths

背景

LLMの性能を向上させる手法として、「思考の連鎖」(Chain of Thought、以下CoT)というテクニックが広く使われています。モデルに「ステップバイステップで考えて」と指示したり、回答の過程で考え方を説明してもらったりと段階的な推論を行わせる方法です。

CoTを使うと、いくつかの課題でモデルの性能が向上することが分かっています。多くの場合は数学的な問題や論理的な推論を必要とする課題で効果を発揮します。また、最新のLLMでは標準的な機能としてCoTが組み込まれている場合もあります。

しかし、今回研究者たちは「CoTが性能を低下させるケースもあるのではないか」という疑問を持ちました。というのも、人間の場合、「考えすぎること」が逆効果になる場面があることが心理学の研究などで分かっているからです。

例えば、以下のような場合に人間は「考えすぎると」むしろパフォーマンスが下がることが知られています。

そこで研究チームは「人間が考えすぎると失敗するようなタスクで、LLMもCoTを使うと失敗するかどうか」という課題を立てました。

この課題を検証するため、心理学の研究で使われた様々なタスクを大規模に再現し、最新のLLMで実験を行いました。

実験アプローチや結果の詳細を以下にまとめます。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。

※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
 プレミアム会員（記事の購読）について

■サポートのお願い

AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。