極めて手軽に「1枚絵を3D化」できるツール『DreamGaussian』が公開されました。このツールは、Webから誰でも試すことができ、数分以内に手元の1枚絵を3Dコンテンツに変換できます。しかしその裏で動いているのは高度なテクノロジーです。

3Dコンテンツの生成は、多くの分野で需要が高まっています。しかし、従来の手法では時間がかかる上に、専門的なスキルが必要でした。DreamGaussianは、そのような障壁を大きく低減し、プロフェッショナルでないユーザーでも短時間で高品質な3Dコンテンツを生成できる点で画期的です。

参照論文情報

• タイトル：DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation
• 著者：Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng
• 所属：Peking University, Nanyang Technological University, Baidu Inc.
• URL：https://doi.org/10.48550/arXiv.2309.16653
• PJページ：https://dreamgaussian.github.io/
• GitHub：https://github.com/dreamgaussian/dreamgaussian
• Google Colab：https://colab.research.google.com/drive/1sLpYmmLS209-e5eHgcuqdryFRRO6ZhFS?usp=sharing

https://twitter.com/ai_database/status/1708092646231797803

「画像・イラスト生成」関連研究

• AIのテキスト・イラスト生成によるCO2排出量は人間より約100〜1000倍以上「少ない」との報告
• “脳波”から映像を生成する技術「DreamDiffusion」登場
• テキストから科学的な図を生成する新手法「FigGen」登場
• OpenAI、ChatGPTが画像を分析する『GPT-4V（ビジョン）』を発表。安全性、嗜好性、福祉機能を強化

従来の課題

3Dコンテンツ生成の重要性

3Dコンテンツ生成は、デジタルゲーム、広告、映画、メタバースなど、多くの分野で非常に重要です。手作業による3Dアセット作成の手間を減らし、非専門家でも3Dコンテンツを作成できるようにする技術が求められています。

時間と計算負荷

従来の3Dコンテンツ生成手法は、一般的に「時間がかかる」かつ「計算負荷が高い」という課題がありました。最適化ベースの2Dリフティング（lifting）手法は、長いケースごとの最適化時間が必要であり、例えばNeRF（Neural Radiance Fields）を3D表現として使用すると、計算が非常に高価になることが知られています。

3Dネイティブメソッドと2Dリフティング

3Dコンテンツ生成の研究は、大きく「推論のみの3Dネイティブメソッド」と上記の「最適化ベースの2Dリフティング手法」の2つに分類されます。3Dネイティブメソッドは、大規模な3Dデータセットでの広範なトレーニングが必要であり、その作成には多くの人的労力が必要です。

NeRFの限界

NeRFは、3D最適化において広く使用されていますが、2Dの監視のみで3D最適化を可能にするという利点があります。しかし、NeRFは計算負荷が高く、特に順方向と逆方向の計算において高価です。

研究者らのアイデア

ガウススプラッティングの採用

この研究の中心的なアイデアは、”ガウス（またはガウシアン）スプラッティング（Gaussian Splatting）”という手法を用いることです。ガウススプラッティングは、3D空間において点群を滑らかに表現するための手法であり、この研究ではそれを一枚の画像から3Dモデルを生成するプロセスに応用しています。

軽快な動作

ガウススプラッティングの採用により、極めて軽快な動作で3Dコンテンツを生成するアプリケーションを作成することが可能になりました。具体的には、一枚の画像からわずか2分で高品質な3Dモデルを生成できるという点が特筆されます。
今回、研究者らはDreamGaussianと呼ぶツールとして実装に成功しています。

効率と品質のバランス

多くの既存手法では、計算効率と生成品質の間にトレードオフが存在します。しかし、この研究ではガウススプラッティングを用いることで、その両方を高レベルで実現しています。

NeRFと異なる点

生成速度の違い

DreamGaussianとNeRF（Neural Radiance Fields）の最も顕著な違いは、生成速度です。NeRFは非常に高品質な3Dモデルを生成できますが、その計算負荷が非常に高く、時間かかることが一般的です。一方で、DreamGaussianは数分で高品質な3Dモデルを生成することができます。具体的には、DreamGaussianは約500ステップで効率的に収束します。

UV空間でのメッシュ抽出とテクスチャの精緻化

DreamGaussianは、3Dガウススプラッティングを用いて、UV空間でメッシュを抽出し、テクスチャを精緻化する独自のアルゴリズムを採用しています。これにより、生成された3Dモデルの品質が一段と向上します。

リアルタイムアプリケーションへの適用可能性

NeRFはその計算負荷の高さから、リアルタイムアプリケーションへの適用が難しいとされています。一方で、DreamGaussianはその高速な生成能力から、リアルタイムアプリケーションでの使用が期待されています。

NeRFの優れた点も整理

本記事ではガウススプラッティングおよびDreamGaussianにフィーチャーして情報をまとめており、その過程でNeRFを比較対象としました。ガウススプラッティングには利点が多い一方、NeRFにも優れた点があるため、下記に整理します。

① 2D監督での3D最適化の利点：NeRFは2D画像から3Dシーンを再構築する際に、2D監督だけで十分な精度を達成できます。複雑な3Dデータセットは不要であり、データ収集が容易です。

② 豊富な3D情報のモデリング：NeRFは物体の形状、テクスチャ、照明条件など、多様な3D情報を一つのモデルで表現できます。よりリアルな3Dシーンの生成が可能です。

③ 高解像度の微調整に適したメッシュベースの表現：NeRFは高解像度の3Dモデルを生成でき、メッシュベースの表現にエクスポートすることができます。これは、例えばゲームや映画のような高品質な3Dコンテンツが必要な場合に非常に有用です。

DreamGaussianを試す方法