本記事では、テキストと画像が複雑に組み合わさった文書を正確に理解するために、複数の専門エージェントが協力する新しい仕組みを紹介します。

文書質問応答の分野では、テキストや画像を単に一緒に解析するだけでは十分でない場合があります。そこで、より深い文書理解を目指して今回の研究が行われました。

はじめに

テキストだけでなく図表やグラフ、写真といった視覚的な情報が複雑に組み合わさった文書が増えており、それらを効果的に解析することがますます重要となっています。例えば、投資レポートやプレゼン資料などあらゆる資料が、さまざまな形式の情報を含んでいます。

ClaudeのようなマルチモーダルLLMは、文書のテキストや画像を効率的に解析することに成功していますが、複雑な文書になるほど、単にテキストと画像を同時に扱えるだけでは十分とは言えない場面も見受けられます。とりわけ、専門性が高く詳細な分析が求められる状況では、それぞれの情報を深く掘り下げた上で、両者をうまく統合して理解することが必要になります。高度なマルチモーダルLLMが広がる中でも、さらに深く、正確に情報を統合できる手法が求められています。

そこで、今回Adobeなどの研究者たちは複数の専門エージェントが文書の「テキスト情報」と「画像情報」を個別に処理し、統合的に理解することを目指した新しい文書理解フレームワークの開発に取り組みました。

以下で詳しく紹介します。ドキュメントをLLMに読み込ませて回答させる中で日頃から物足りないと思われている方向けの内容です。