本記事では、LLMが行う推論プロセスの効率性を向上させる新たな研究を紹介します。

プロンプト手法としても推論モデルの内部動作としてもよく使用されているCoTは、推論過程を詳しく書き出すため、正確性は高まるものの処理時間が長くなりがちです。そこで本研究は、人間が自然に行うような簡潔なメモを取る形で、効率的な推論を実現する手法を提案しています。

背景

LLMは、複雑な問題を段階的に詳しく解きほぐすことで優れた結果を示しています。これは「Chain-of-Thought（CoT）」という手法で、問題を細分化し、一つひとつ丁寧に説明するように答えを導く方法です。多くの推論モデル（o1やDeepSeek-R1など）の内部ではCoTのような段階的な推論プロセスが展開する傾向があります。

しかし、CoTには問題点もあります。CoTを用いた推論は、途中の説明が長く、使われるトークン数（文字数）が非常に多いため、計算時間が長くなりコストも高くなります。特にリアルタイム性が求められる場面では、このような冗長性が大きな障壁となっていました。

人間が実際に問題を解く時を考えると、私たちは全ての細部を詳細に書き出すことはほとんどありません。むしろ、重要な要素だけを短くメモしながら、最小限の情報で効率よく考えを進めています。つまり、長く詳細な説明はせず、核心部分だけを短く書き留めるというやり方です。

そこで今回Zoomの研究者らは、LLMにも人間が自然に行っているような「簡潔で核心的な推論方法」を取り入れようと考えました。この考えに基づき、従来の詳細な説明をする代わりに、必要最小限の短い推論メモを作成しながら回答を導く新たな方法が提案されました。

考案された手法は、推論プロセスの中で余分な説明を省き、本当に必要な情報だけを短くまとめます。実験の結果、CoTと同程度かそれ以上の正確さを維持したまま、トークン数を大幅に削減し、計算時間やコストを著しく抑えることが可能になりました。

プロンプトテンプレートを参照して試せるため、ぜひ確認してみてください。以下で詳しく紹介します。