画像と「動画」の中にあるものを認識する『SAM 2（Segment Anything 2）』をMetaが開発

本記事では、Metaが開発した画像・動画セグメンテーションモデル「SAM 2」を紹介します。

SAM 2は、SAMの機能を動画に拡張し、動画内の任意のフレームでオブジェクトを追跡できる機能を持ちます。

背景

2023年4月にSegment Anything Model（SAM）が登場しました。画像内の任意のオブジェクトをセグメンテーション（分割）でき、画期的なシステムとして注目されました。
しかし研究者らは「画像だけでは不十分であり、動画もセグメントできるようにすべきだ」と考えていました。

これまでに研究されてきた動画オブジェクトセグメンテーションは、例えば、オブジェクトが途中で隠れたり再出現したりする場合にはオブジェクトの追跡が困難でした。また長時間動画も不得意でした。

そこで研究者らは、SAMの原理を動画に拡張した『SAM2』を開発しました。そして動画全体を通してオブジェクトを追跡することが可能になりました。

また、開発の中で、大規模なビデオセグメンテーションデータセット「SA-V」が作成されました。様々な動画から構成されており、SAM 2の学習に使用されています。