一枚の画像を、「つっついたり引っ張ったりすると揺れ動く」ように変換する技術が開発されました。
植物など自然界の物体をよりリアルに感じられるようになります。
Google Researchによる研究です。
○ Zhengqi Li et al., “Generative Image Dynamics”
一枚の画像からダイナミクスのある動きを生成する技術はこれまでも多く開発されてきました。
しかし、物理的なリアルさを再現することが課題でした。
そこでGoogleの研究者らは、動画から「オブジェクトの軌跡」を学習させたモデルを開発することで、新たなツールを確立させました。
■変換プロセス(システム側の動き)
① 画像のアップロードを受け取る
② 画像の動きを予測する
③ ピクセルレベルで軌跡を作成する
④ 静止画像を動画形式にレンダリングする
⑤ 「ふれると動く」画像が出力される
このプロセスは、自然な振動ダイナミクスを持つ実世界のシーン、例えば風に揺れる木や花を対象としているとのことです。
※大きな変位を含む動きや、大量のコンテンツの生成が必要な場合は、変換がうまくいかない可能性があるとのことです。