LLMに心の目を与える『Visualization-of-Thought』プロンプティング マルチモーダルモデルに匹敵する空間推論性能を達成

   

Microsoftの研究者らは、LLMに「心の目」を授けるプロンプト手法『Visualization-of-Thought』(VoT)を考案しました。

実験の結果、VoTによってLLMの空間推論能力(物体の位置関係や動きを理解し、推論する能力)が大幅に向上することが示されています。

重要なお知らせ:AI分野のお仕事マッチングサービス「AIDB HR」を開始しました!登録後はオファーを受け取るだけのシンプルなサービスです!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。



参照論文情報

  • タイトル:Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models
  • 著者:Wenshan Wu, Shaoguang Mao, Yadong Zhang, Yan Xia, Li Dong, Lei Cui, Furu Wei
  • 所属:Microsoft Research

背景

LLMにおいて「空間推論」の能力についてはあまり研究が進んでいないのが現状です。空間推論とは、物体の位置関係や動きを理解し、推論する能力のことを指します。

一方で人間は、言語だけでなく、視覚情報から抽象的な表現を作り出したり、見えないものを想像したりする「心の目」と呼ばれるような認知能力を持っています。研究チームは、LLMにも同様の能力があるのではないかと考え、「Visualization-of-Thought (VoT)」と名付けた新しいプロンプティング手法を開発しました。

VoTは、LLMに推論の途中経過を可視化するよう促して追跡を可能にします。LLMは推論ステップごとに心の目でイメージを生成し、次のステップに活かすことができます。また、VoTはゼロショットプロンプティングを採用しており、外部ツールや人手の入力に頼る必要がありません。(なおゼロショットプロンプティングとは、学習済みのモデルに対して、タスクの説明だけを与えて推論させる手法です。)

実験の結果、VoTを適用することでLLMの空間推論能力が大幅に向上することが明らかになりました。

以下で詳しく紹介します。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について









■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






PAGE TOP