LLMには正解例だけでなく、「よくある間違い例」と理由も一緒に教えるのが有効

本記事では、LLMの思考プロセスに関する研究を紹介します。

LLMの思考ステップを示す「Chain-of-Thought（CoT）」の仕組みは今でも謎に包まれています。そこで研究チームは、LLMが前のステップを記憶して次のステップを考えるという「思考の連続性」に着目し、理論的な解明に挑戦しました。そこから導かれる実用的なテクニックも注目に値します。

背景

LLMに「考えるステップを示す」というテクニック（Chain-of-Thought、以下CoT）が注目されています。例えば数学の問題を解く時に、「まずこう考えて、次にこうして…」というように、考え方の手順を示すものです。

このCoTが効果的だということは実験で分かってきましたが、なぜ上手くいくのか、その仕組みはよく分かっていませんでした。

これまでの研究では、考えるステップを「バラバラに切り離して」分析していました。つまり、「ステップ1→ステップ2→ステップ3」という流れを、それぞれ独立した部分として扱っていたのです。
しかし、実際のLLMは前のステップの内容を覚えていて、それを踏まえて次のステップを考えています。そこで「各ステップのつながりを大切にした分析が必要なのでは？」という問題意識が生まれました。

また、CoTを使う時に「途中のステップで間違えると最終的な答えにどれくらい影響するのか？」という疑問もあります。例えば、数学の問題で途中の計算を間違えた場合と、最後の答えだけ間違えた場合では、どちらが深刻な影響を及ぼすのでしょうか。

このような疑問があったので、研究チームは以下の2つを明らかにしようと考えました。

1. ステップ同士のつながりを考慮した方が、バラバラに分析するよりも良い結果が得られるのか
2. 途中のステップでの間違いと、最後の答えでの間違いでは、どちらがより大きな影響を与えるのか

つまり、「考えるプロセスの一貫性」と「間違いの影響度」を理論的に解明しようとしたのです。その結果、興味深い結論がいくつか得られました。

以下で紹介します。