こんにちは。エンジニアライターの小原です。

連載「現場にコミットする機械学習ノート」では、論文を詳しく読み解きながら、現場で使えるAI実装のヒントを記録していきたいと思います。

前回の記事では、「監視カメラ映像から危険物を検出」を扱いました。

今回は、中国の上海科技大学のX. Xueらが2018年7月に発表した「画像中の植生地帯を緑化」に関する論文を扱っていきます。

今回の記事でお伝えする内容はトリッキーなテーマですが、大枠は「3D都市モデルの構築」が課題になっています。国内では、株式会社ゼンリンが3D地図データを構築しており、それは、もともとはカーナビゲーション向けの3D地図データを建設向けに転用したものでした。汎用性の高いFBX形式に変換して、設計、建築、都市開発の各種シミュレーション用途として提供しています。機械学習を用いた画像認識や移動推定などの開発を進めているようです。

それでは以下で、CycleGANを用いて画像を冬から夏に変換する流れを紹介します。画像データを画像データに変換する最新方法を覗いてみてください。

もくじ
1章　3D都市モデル構築向け画像データの課題
2章　CycleGANで冬の植生地帯を緑化
2.1　研究目的
2.2　研究手法
2.2.1　データ
2.2.2　生成の邪魔になる箇所の除去
2.2.3　手法
2.3　研究結果
2.3.1　異なる生成器でのSSIMの比較
2.3.2　前進サイクル損失と後退サイクル損失の比較
2.3.3　悪天候時に撮影された画像からの生成結果

■前回の記事：【vol.8】監視カメラ映像から危険物を検出

1章
3D都市モデル構築向け画像データの課題

デジタル都市を構築するには、3Dの都市モデルの構築が必要です。3D都市モデルを構築する方法の一つに、傾斜写真測量があります。この方法においては、 斜めからの撮影が重要であり、撮影の視覚的な質がモデルの視覚効果に直接影響を与えます。

しかし、季節の悪さや撮影機材の不備などにより、斜め撮影では画質が良くないことがあります。例えば、冬に撮影した斜め写真では植生が茶色くなっています。これをそのまま3Dモデルの生成に利用すると、視覚的に良くない結果になってしまいますので、冬に斜めから撮影された植生を緑化する方法が必要です。

そこで中国のX. Xueらは、赤外線バンドを用いずに、冬期の斜めから撮影された画像の植生を緑化する方法を提案しました。

2章
CycleGANで冬の植生地帯を緑化

まずはX. Xueらの研究におけるミッション・手法・結果をまとめます。