次回の更新記事:LLM同士だけで伝わる効率的なコミュニケーションをさ…(公開予定日:2024年12月16日)

画像と「動画」の中にあるものを認識する『SAM 2(Segment Anything 2)』をMetaが開発

   

本記事では、Metaが開発した画像・動画セグメンテーションモデル「SAM 2」を紹介します。

SAM 2は、SAMの機能を動画に拡張し、動画内の任意のフレームでオブジェクトを追跡できる機能を持ちます。

【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼



参照論文情報

  • タイトル:SAM 2: Segment Anything in Images and Videos
  • 著者:Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer
  • 所属:Meta FAIR

背景

2023年4月にSegment Anything Model(SAM)が登場しました。画像内の任意のオブジェクトをセグメンテーション(分割)でき、画期的なシステムとして注目されました。
しかし研究者らは「画像だけでは不十分であり、動画もセグメントできるようにすべきだ」と考えていました。

これまでに研究されてきた動画オブジェクトセグメンテーションは、例えば、オブジェクトが途中で隠れたり再出現したりする場合にはオブジェクトの追跡が困難でした。また長時間動画も不得意でした。

そこで研究者らは、SAMの原理を動画に拡張した『SAM2』を開発しました。そして動画全体を通してオブジェクトを追跡することが可能になりました。

また、開発の中で、大規模なビデオセグメンテーションデータセット「SA-V」が作成されました。様々な動画から構成されており、SAM 2の学習に使用されています。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について


■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






PAGE TOP