コンピュータビジョンの分野において最も権威ある学会の一つであるCVPRで発表された中から「顔」についての研究を紹介します。

「顔×AIの最先端にキャッチアップしておきたい」
「トップ学会CVPRの論文には関心があるが、数が多すぎてどれを読めばいいかわからない」
「画像認識技術を仕事で使うので注目度の高い論文に触れておきたい」
「そもそもCVPRって何？」

こんな方は、ぜひ参考にしてみてください！

そもそもCVPRとは？

CVPRの正式名称は「Computer Vision and Pattern Recognition（コンピュータビジョンとパターン認識）」です。Compuer Visionというのはロボット（コンピュータ）の視覚を指します。画像処理、映像処理の技術分野全般を指すことが多いです。

そのComputer Visionの分野において最も権威ある学会の一つがこのCVPR。近年ではComputer Vision分野でDeep Learningを使う事が当たり前になってきているので、CVPRはDeep Learningに関するトップカンファレンスの一つだとも言われています。

アイブンでは、これまでにCVPRの論文紹介を3回行ってきました。第4回目の今回は、「顔」に関する論文に注目していきます。

これまでの紹介記事
■第1回：【CVPR2020】「3D」に関するAI論文5選
■第2回：【CVPR2020】「GAN」に関するAI論文5選
■第3回：【CVPR2020】「動画」に関するAI論文5選

「顔」の論文5つPICKUP

CVPR 2020では、5865本の論文が投稿され、そのうちacceptされたのが1467本の論文でした。そのうち、「顔」関連の論文は53件でした。

この中から、特に興味深いおすすめの5本を紹介します。じっくり読む論文を選ぶ際のヒントにしていただけると幸いです。

1本目. Rotate-and-Render: Unsupervised Photorealistic Face Rotation From Single-View Images
2本目. Face X-Ray for More General Face Forgery Detection
3本目. Learning to Have an Ear for Face Super-Resolution
4本目. Domain Balancing: Face Recognition on Long-Tailed Domains
5本目. AnimalWeb: A Large-Scale Hierarchical Dataset of Annotated Animal Faces

1本目：単一視点の画像から顔の回転画像を合成

最初に紹介する論文は、この分野で最も成功した研究の1つである、GANを使った顔画像の生成についてです。

タイトル：Rotate-and-Render: Unsupervised Photorealistic Face Rotation From Single-View Images（PDF）
著者：Hang Zhou, Jihao Liu, Ziwei Liu, Yu Liu, Xiaogang Wang
機関・国：香港中文大学、中国

課題設定のポイント

近年、顔の回転画像の生成は急速に進歩していますが、高品質のペア学習データがないことが既存の手法の大きなハードルとなっています。現在の生成モデルは、同一人物の多視点画像を含むデータセットに大きく依存しているため、生成結果はデータソースの規模や領域によって制限されます。

アプローチ・結果の面白さ

この論文では、実際の単一ビュー画像のみを用いて、写真のような顔の回転画像を合成することができる新しい教師なしフレームワークを提案します。3次元空間内の顔を前後に回転させ、2次元平面に再レンダリングすることで、強力な自己教師あり学習の役割を果たすことができることを明らかにします。顔の3次元回転・レンダリングを任意の角度に適用することができるため、既存の手法では不十分であった、より現実的なシナリオ（すなわち、ペアデータが利用できない場合）に非常に適しています。

2本目：ディープフェイクの顔画像を検出

GANによって顔画像の生成は進歩しましたが、同時にDeepfakeという問題も生み出しました。次に紹介するのは、そのDeepfake検出についての論文です。

タイトル：Face X-Ray for More General Face Forgery Detection（PDF）
著者：Lingzhi Li, Jianmin Bao, Ting Zhang, Hao Yang, Dong Chen, Fang Wen, Baining Guo
機関・国：北京大学、中国