Adobeの研究者らは一枚画像から3Dオブジェクトを生成する汎用的かつ実用的な技術『LRM』を開発しました。
幾つかのサンプルが公開されており、さくらんぼやテディベアなどの3Dファイルをぐりぐりと動かしたり拡大したりして、その品質を確認することができます。
競合技術と比較してより現実的なツールになると述べられています。
@ Yicong Hong et al., “LRM: Large Reconstruction Model for Single Image to 3D”
「一枚画像から3Dファイル生成」は何度も耳にする技術テーマです。しかし従来の方法は、各カテゴリーに特化したデータセットが必要であるケースが多いとのことです。
それは汎用性および実用性に欠けていると主張されています。
Adobeの研究者らは、大規模なアーキテクチャ『LRM』を開発し、上記の課題解決を試みています。
■『LRM』の主なポイント
① トレーニングと推論が非常に効率的
② 極めて忠実な3Dオブジェクトをわずか5秒でレンダリングする
③ 実世界の画像で広く一般的に使用可能
■仕組みの核心
① トランスフォーマーベースのエンコーダ・デコーダアーキテクチャを採用
② 約100万の3D形状とビデオデータによる大規模な学習が行われている
③ 計算効率の良い三次元平面NeRFを使用
（他の方法よりも計算上で利点があると判断）
■性能に関する評価結果情報
さまざまなデータセットから実際に生成された画像とレンダリングされた画像で、『LRM』を用いて、形状の3D構築が評価されました。
→その結果、以下のように評価されました：
① 様々な入力に対して、非常に高い忠実度を持つ3Dオブジェクトを生成した
② 異なるテクスチャを持つ様々な被写体から正確にモデル化できた
③ 他のメソッドと比較して、より鮮明で、きめ細かく一貫した生成が可能だった
■批評的な側面からみた注意点
① 見えない領域のテクスチャがぼやける傾向がある
（単一画像からの3D問題が本質的に確率的であるためと言われている）
② カメラの内部パラメータが正確でない場合、歪む恐れがある
③ 背景なしのオブジェクト画像のみを対象としているため、あらかじめ処理を必要とする
