自由自在な上に動いても姿が崩れない動画編集・生成AI『Stable Video』が登場しました。
マイクロソフトなどの研究者らによる開発です。
○ Wenhao Chai et al. StableVideo: Text-driven Consistency-aware Diffusion Video Editing
意外かもしれませんが、これまで動画内の物体を上手に編集することは難しかったのです。
その理由は主に下記の2点に集約されています。
①動画中の物体を一貫して高品質に編集するのは難しく、不自然に見える瞬間があるのは避け難かった
②物体の編集内容を動画全体を通して適用するのが難しかった
そんな中、今回研究者らは、この問題に特化した動画編集コンポーネントであるジェネレーター（生成器）とプロパゲーター（伝搬器）を開発することによって解決を試みました。
その結果、以下の機能を持つ動画エディターが完成しました。
■動画中の特定の物体に対して、テキスト指示に基づいて、色、形状、テクスチャなどを編集できる
■編集内容を動画全体に高い一貫性でなじませる
その力は、デモを通して確認することができます。このような技術によって、人々が創造力をより思い通りに発揮できるようになるといいですね。
