アバター作成における課題とは

画像処理などを活用したアバターの作成においては、学習ベースの手法を用いたモデルが増加しています。従来の方法では、顔や輪郭の正確な形状を必要とし、通常、コストと時間のかかるセットアップ作業が必要です。しかし、学習ベースの方法では、ニューラルネットワークを用いて顔の外観をモデル化することができます。

学習ベースの技術においては、単一の照明条件に制限されてきました。例えば、表情や視点は柔軟に変更することができますが、その顔にあたる影が均一であり、制限されてしまいます。また解決されたとしても、2Dモデルのみであり、3Dモデルの手法はありません。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

学習ベース手法を用いたアバター作成における、照明条件が制限されているという課題において、実際にどんな研究が行われているのでしょうか。Facebookら研究者の発表を紹介したいと思います。

研究者らは、エンコーダを用いることによって、アバターの生成を行いました。

▼論文情報

著者：Sai Bi, Stephen Lombardi, Tomas Simon, Shih-en Wei, Kevyn Mcphail, Ravi Ramamoothi, Yaser Sheikh and Jason Saragih
タイトル：”Deep Relightable Appearance Models for Animatable Faces”
Facebook
URL：DOI

表情や照明を考慮したアバター作成

まずはFacebookの研究者らの研究におけるミッション・手法・結果をまとめました。