本記事では、Metaが開発した画像・動画セグメンテーションモデル「SAM 2」を紹介します。
SAM 2は、SAMの機能を動画に拡張し、動画内の任意のフレームでオブジェクトを追跡できる機能を持ちます。
参照論文情報
- タイトル：SAM 2: Segment Anything in Images and Videos
- 著者：Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer
- 所属：Meta FAIR
背景
2023年4月にSegment Anything Model（SAM）が登場しました。画像内の任意のオブジェクトをセグメンテーション（分割）でき、画期的なシステムとして注目されました。
しかし研究者らは「画像だけでは不十分であり、動画もセグメントできるようにすべきだ」と考えていました。
これまでに研究されてきた動画オブジェクトセグメンテーションは、例えば、オブジェクトが途中で隠れたり再出現したりする場合にはオブジェクトの追跡が困難でした。また長時間動画も不得意でした。
そこで研究者らは、SAMの原理を動画に拡張した『SAM2』を開発しました。そして動画全体を通してオブジェクトを追跡することが可能になりました。
また、開発の中で、大規模なビデオセグメンテーションデータセット「SA-V」が作成されました。様々な動画から構成されており、SAM 2の学習に使用されています。
