画像と「動画」の中にあるものを認識する『SAM 2（Segment Anything 2）』をMetaが開発

本記事では、Metaが開発した画像・動画セグメンテーションモデル「SAM 2」を紹介します。

SAM 2は、SAMの機能を動画に拡張し、動画内の任意のフレームでオブジェクトを追跡できる機能を持ちます。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

参照論文情報

著者：Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer

背景

2023年4月にSegment Anything Model（SAM）が登場しました。画像内の任意のオブジェクトをセグメンテーション（分割）でき、画期的なシステムとして注目されました。
しかし研究者らは「画像だけでは不十分であり、動画もセグメントできるようにすべきだ」と考えていました。

これまでに研究されてきた動画オブジェクトセグメンテーションは、例えば、オブジェクトが途中で隠れたり再出現したりする場合にはオブジェクトの追跡が困難でした。また長時間動画も不得意でした。

そこで研究者らは、SAMの原理を動画に拡張した『SAM2』を開発しました。そして動画全体を通してオブジェクトを追跡することが可能になりました。

また、開発の中で、大規模なビデオセグメンテーションデータセット「SA-V」が作成されました。様々な動画から構成されており、SAM 2の学習に使用されています。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。

※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
 プレミアム会員（記事の購読）について

■サポートのお願い

AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。