高解像度な深度マップを高速生成するモデル『Depth Pro』Appleが公開

本記事では、1枚の画像から高精度な奥行き情報を高速で推定するモデル「Depth Pro」を紹介します。これまでの手法では難しかった、カメラの内部パラメータなしでの正確な奥行き推定や、髪の毛や毛皮などの細かい構造の捕捉が可能になりました。

背景

1枚の画像から奥行き情報を推定する技術（深度推定）が発展しています。深度推定は、画像編集や画像生成などへのさまざまな応用可能性を秘めています。

これまでの研究では、次のような課題がありました。

1. 予測された奥行き情報の精度が十分ではなかった
2. カメラの内部パラメータ（焦点距離など）が必要で、一般的な画像には適用できなかった
3. 物体の輪郭がぼやけてしまい、細かい構造を正確に捉えられなかった
4. 処理に時間がかかり、リアルタイムでの使用が難しかった

そこで例えば、多様なデータセットを使った学習や、新しいネットワーク構造が試されてきました。しかし、依然として難しい状況でした。中でもカメラの内部パラメータなしで正確な奥行きを推定することや、髪の毛や毛皮などの細かい構造を正確に捉えることが困難でした。

そんな中、今回Appleの研究者らはこれらの課題を一度に解決するモデル『Depth Pro』を開発しました。

以下で紹介します。