マルチモーダルLLMに広がる「視覚推論」の最新動向

本記事では、マルチモーダルLLMの分野で注目が集まっている視覚推論に関する最新の調査を紹介します。
画像や図を見て、答えをいきなり出すのではなく、「どう考えたか」を一つひとつ言葉にしながら推論するスタイル。AIの判断の流れが見えるようになり、医療やロボットなどの場面でも応用しやすくなると期待されています。
この動きが、どのような背景で生まれ、どこまで進んでいるのかを、順を追って見ていきます。

背景

画像と言葉を一緒に扱えるLLMが登場し、「ついにここまで来たか」と思った人も多いかもしれません。写真を見せれば、その内容を説明したり質問に答えたりしてくれます。

ただ、実際に使ってみると、まだ難しさも感じます。モデルがもっともらしく答えているように見えても、よく見るとちゃんと画像を理解しているのではない場合も多い。内容が複雑になると、精度が頭打ちになるような場面もあります。

われわれ人間は、物の位置や形、関係性などをひとつひとつ見て、頭の中で組み立てながら判断しています。たとえば「このコップは棚に入るか？」といった問いに対して、ただ全体をざっくり見るのではなく、細かな要素を見比べて考えることができます。
このような人間の思考に近づけるために、最近では画像をもとに段階的な推論を進めるような仕組みの開発が進んでいます。

視覚的な情報を手がかりに、ひとつずつ理由を積み上げていく。そんなアプローチによって、LLMがまた一歩進化しようとしています。

とはいえ、そうしたモデルが「本当にちゃんと理解しているのか？」という問いは、まだ解き明かされていません。いまの段階で何ができて、何が難しいのか。本記事では、その輪郭を明らかにしようとする調査を取り上げます。