メリーランド大学の研究者グループは、人間の目の反射を利用して、瞳に映る景色を3Dシーンとして再現する技術を開発しました。視線の方向を推定し、反射に含まれる虹彩のテクスチャを処理することで、高精度な再構築が可能となります。この技術は視覚障害者の支援や、遠隔医療、VR/AR技術の進化など、社会全体のメリットにつながる可能性があります。
参照論文情報
- タイトル：Seeing the World through Your Eyes
- 著者：Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang
- 所属：University of Maryland
- URL：https://doi.org/10.48550/arXiv.2306.09348
- プロジェクトページ：https://world-from-eyes.github.io/
関連研究
視線の推定と虹彩のテクスチャ処理
今回紹介する技術は、人間の目の反射を利用して、瞳に映る景色を3Dシーンとして再現します。その過程は2つの主要なステップから成り立っています。
1つ目のステップ：視線推定
まず、機械学習アルゴリズムを用いて視線の方向を推定することで、人間が見ている景色の視点を決定します。人間の目の形状や位置が計算の材料になります。
2つ目のステップ：虹彩処理
次に、反射に含まれる虹彩のテクスチャを処理します。虹彩のテクスチャは、人間の目の色やパターンを含む部分で、これが景色の反射を含んでいます。このテクスチャを解析することで、反射された景色の情報を抽出し、それを基に3Dシーンを再構築します。
これらのステップを組み合わせることで、この技術は高精度な景色の再構築を可能にします。
実際の景色と比較した結果
研究者たちは、この技術が実際の景色に対してどれほど忠実にシーンを再構築できるかを検証するために、一連の実験を行いました。以下では実験方法と結果を紹介します。
