複雑な問題に直面したとき、私たちは心の中でイメージを描いたり、紙にスケッチを描いたりして考えを整理します。今回、コロンビア大学の研究チームは、こうした能力をLLMに組み込むべく、「Whiteboard-of-Thought（ホワイトボード思考法）」という手法を開発しました。

背景

LLMに複雑な推論を必要とするタスク（例えば算術など）においては、「思考の連鎖」（Chain-of-Thought）と呼ばれる手法がよく使用されます。「ステップバイステップで考えましょう」などといった指示によりLLMに問題解決のプロセスを文章化させることで、より正確な答えを導き出すことを可能にする手法です。

一方で、人間のような視覚に基づく思考や空間的推論に関しては、LLMの性能はまだ十分ではないことが指摘されています。例えば、自然言語で記述された空間的な指示を理解したりすることは、LLMにとって難しいタスクであると言われています。
画像も扱えるマルチモーダルLLMも発展していますが、視覚的な推論を行う能力はまだそれほど進歩していません。

人間が視覚的な問題を解く際には、メンタルイメージを形成したり、図を描いたりすることで思考を補助します。そこで、この人間の認知プロセスにヒントを得て、テキストだけでなく画像も中間推論に活用する新しいアプローチが考案されました。マルチモーダルLLMに「ホワイトボード」のような機能を持たせる手法です。

以下で詳しく紹介します。