LLMで非構造化文書から高精度テキスト抽出OCR

Googleは、LLMを活用して「非構造化文書（例えばレシートなど）」から高精度にテキストを抽出するOCR『LMDX』を発表しました。
BardとGoogle drive等との連携をさらに強化する可能性のある技術です。

○ Fernanda De La Torre et al., “LMDX: Language Model-based Document Information Extraction and Localization”

従来のOCRでは、文脈を考慮したテキスト抽出が難しく、また様々なレイアウトに柔軟に対応することも課題とされてきました。

今回Googleの研究者らは、LLMの強みを活かした新しいOCRフレームワーク『LMDX』を開発しました。この技術は、同社のLLMであるBardの能力をさらに発揮することにも繋がる潜在価値があります。

■ 『LMDX』のスキーム
本フレームワークは、以下のいくつかのステップから成ります。
① OCRステップ：画像やPDFから光学的に文字情報を検出
② Chunkingステップ：文字情報を単語や文章に区切る
③ Prompt generationステップ：単語や文章をもとにLLMに入力するプロンプトを作成
④ LLM inferenceステップ：LLMから文章上の重要な要素（エンティティ）が返ってくる
⑤Decodingステップ：エンティティをもとに再度情報を抽出する

■実験結果
以下はLMDXの性能を示しています。
① ゼロショット（訓練なし）でも高精度な抽出を行った
② データ効率が非常に高かった
③ 未見のレイアウトに対しても性能低下が5%以下

■考察
以下は、LMDXの潜在価値についての考察です。
① GmailやGoogle Driveに保存されている非構造化データをBardから参照できるようになる可能性がある
② Bardのマルチモーダル機能（画像認識など）の能力が向上する

LLMの個人利用だけでなく企業利用も促進する可能性のある、実用的なテクノロジーと言えます。