マルチモーダルLLM活用で画像異常検知に「意味」を与え精度向上　見つけるだけで終わらせない

本記事では、視覚モデルとマルチモーダルLLMを組み合わせて異常を分類する手法を紹介します。

従来の異常検出では見落とされがちだった「異常の中身」に踏み込み、対応判断まで視野に入れた設計が特徴です。検出器とLLMを段階的に連携させることで、精度と解釈性の両立を図っています。

異常対応の現場において、どの情報をどの順で渡すかを再考するきっかけにもなりそうです。

見つけるだけでは足りない　異常に「意味」を与えることの重要性

異常をどう扱うかは、製造業に限らず多くの分野で日々直面する課題です。AIによって外れ値を検出する技術はすでに普及しつつありますが、「見つける」ことがゴールではありません。

実際には、その異常がどのような意味を持つのかを見極め、それにどう対応すべきかを判断する力が求められます。ここに、検出にとどまらない「分類」の重要性があります。

たとえば、外観検査においてワイヤーの曲がりは簡単な調整で済むかもしれませんが、パーツの欠落は工程全体を見直す必要があるかもしれません。また、色味の違いがただの仕様変更だった場合、それを誤って不良品と判定すれば、無駄な再作業や廃棄が発生します。
こうした判断の多くは、従来は人が担ってきました。

現在の異常検出システムは、視覚的なズレをもとに「正常ではない」と判断しますが、実際には問題のないケースも多く含まれます。しかも、その「正常」も過去のデータに基づくものであり、意味や文脈は考慮されません。AIが出す結果に対して、現場が「これは対応すべき異常なのか、それとも無視していいのか」と迷う状況は、今も少なくありません。

こうした状況に対して、視覚情報だけでなく言語的な指示や説明を組み合わせて異常の意味を理解するしくみが注目を集めています。人が「これはこういう異常だから、この程度なら許容範囲」と判断するように、AIにも意味ベースの処理を担わせようという動きです。

そうした「異常の意味を分類する」ことに焦点を当て、マルチモーダルLLMを活用した新たな枠組みと評価方法が提案されています。製造業にとどまらず、医療、交通、インフラ、サポート業務など、何が通常で何が問題なのかを見極める力が求められるあらゆる場面において、柔軟なAI活用のヒントを与えてくれます。

以下で詳しく紹介します。