pix2pix3D：簡単な線を描くだけで、3Dコンテンツを生成する。

カーネギーメロン大の研究グループが新しいAIモデルを報告しています。
そのAIモデルとは、簡単な線を元に3Dコンテンツを生成する機能を持つもの。生成された3Dコンテンツは画像としてだけでなく、VRやAR用のファイルとしても使用可能とのことです。

目次

• 驚くべきデモ動画
• 将来展望
• 関連研究

参照論文情報

• タイトル：3D-aware Conditional Image Synthesis
• 著者：Kangle Deng, Gengshan Yang, Deva Ramanan, Jun-Yan Zhu
• URL：10.48550/arXiv.2302.08509
• プロジェクトページ：cs.cmu.edu/~pix2pix3D/
• GitHub：github.com/dunbar12138/pix2pix3D

驚くべきデモ動画

研究グループは実装コードの保管場所であるGitHubページにて、以下のデモ動画を公開しています。動画を見ると分かるように、簡単な線を与えるとAIが3Dモデルを生成します。ユーザーは、線の一部を消したり書き加えたりすることで、3Dモデルを編集することができます。

3Dコンテンツを作成するためにユーザーが描くのは、（専門的な用語ですが）「セグメンテーション」と「エッジマップ」と呼ばれるもの。セグメンテーションとは、画像をいくつかのオブジェクトに分割するしるしです。エッジマップとは以下のように、その名の通り画像における物体のエッジ（端）を示す図です。