メリーランド大学の研究者グループは、人間の目の反射を利用して、瞳に映る景色を3Dシーンとして再現する技術を開発しました。視線の方向を推定し、反射に含まれる虹彩のテクスチャを処理することで、高精度な再構築が可能となります。この技術は視覚障害者の支援や、遠隔医療、VR/AR技術の進化など、社会全体のメリットにつながる可能性があります。

参照論文情報

• タイトル：Seeing the World through Your Eyes
• 著者：Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang
• 所属：University of Maryland
• URL：https://doi.org/10.48550/arXiv.2306.09348
• プロジェクトページ：https://world-from-eyes.github.io/

関連研究

• pix2pix3D：簡単な線を描くだけで、3Dコンテンツを生成する。
• 人の「嘘」はAIにバレる。
• Stable Diffusionで脳内映像を見る！大阪大学の研究者らが開発

視線の推定と虹彩のテクスチャ処理

今回紹介する技術は、人間の目の反射を利用して、瞳に映る景色を3Dシーンとして再現します。その過程は2つの主要なステップから成り立っています。

1つ目のステップ：視線推定

まず、機械学習アルゴリズムを用いて視線の方向を推定することで、人間が見ている景色の視点を決定します。人間の目の形状や位置が計算の材料になります。

2つ目のステップ：虹彩処理

次に、反射に含まれる虹彩のテクスチャを処理します。虹彩のテクスチャは、人間の目の色やパターンを含む部分で、これが景色の反射を含んでいます。このテクスチャを解析することで、反射された景色の情報を抽出し、それを基に3Dシーンを再構築します。

これらのステップを組み合わせることで、この技術は高精度な景色の再構築を可能にします。

実際の景色と比較した結果

研究者たちは、この技術が実際の景色に対してどれほど忠実にシーンを再構築できるかを検証するために、一連の実験を行いました。以下では実験方法と結果を紹介します。