この記事では、写真中に「本来存在しなかった物体をナチュラルに」配置するAIについての研究をカジュアルに紹介します。

論文情報

• タイトル：Paint by Example: Exemplar-based Image Editing with Diffusion Models
• 著者：Binxin Yang、Shuyang Gu、Bo Zhang、Ting Zhang、Xuejin Chen、Xiaoyan Sun、Dong Chen、Fang Wen
• 著者の所属：University of Science and Technology of China、Microsoft Research Asia
• DOI：doi.org/10.48550/arXiv.2211.13227

目次

• 画像編集AIの進化が止まらない
• そこにいなかったはずの動物や物体をごく自然に配置🔒
• まとめ🔒

画像編集AIの進化が止まらない

AIベースでの画像編集技術が目にも止まらぬ速さで進歩しており、従来は特殊で手間がかかっていた作業も簡単にできるようになっています。

画像編集AIにはいくつかの種類があり、以下が主なカテゴリーです。

• 画像修復
• 合成
• カラー化
• 美化

また、技術の潮流としては「大規模言語画像モデル」と呼ばれる新しい動きもあり、これはテキストによって画像を編集することを可能とするテクノロジーです。

今回、また新たに、Microsoftと中国の大学研究者らによるグループから画期的な画像編集AIの論文が公開されました。

そこにいなかったはずの動物や物体をごく自然に配置

研究グループが新たに開発したAIは、端的に言えば「もっともらしく合成する」能力があります。

まずは、以下の画像をご覧ください。

「なあんだ、風景の写真に別の写真から動物を貼り付けるだけか」と思ったかもしれません。
しかし、よく見てください。”別の写真”に写っている動物は、貼り付けたい風景にナチュラルに配置されるように、ポーズなどが変化しているのです。

もちろん動物だけではなく、建物や乗り物も、「それっぽく」変化して合成されるようです。