慶應義塾大学

慶應義塾大学青木義満研究室

慶應義塾大学青木義満研究室

english

Segmentation のためのスーパーピクセル上でのGraph Convolutional Neural Networks

CNNを用いた画像領域分割の欠点として,プーリング層によるダウンサンプリングが原因で空間的な情報が欠落してしまい物体の輪郭付近での領域分割精度が低下する点があった.そこで,プーリングによる情報の欠落を防ぐ別のアプローチとして,スーパーピクセル上でのグラフ畳み込み(Graph Convolution)を提案した.また,グラフ畳み込みの拡張として,より効果的に受容野を広げるDilated Graph Convolutionを提案した. HKU-ISデータセットを用いた領域分割の課題において,提案手法が同一構成の従来のCNNを上回る性能を達成した.

Super pixel pooling

CNN分類器を用いた画像識別における顕著性マップ生成

一般的に画像をCNN に入力し特定の出力が得られた場合に,なぜそのような出力が得られたかを説明することは難しい.本研究では,Generative Adversarial Networksの枠組みを応用した顕著性マップの生成手法を提案する.このシステムでは2つのニューラルネットワークを競わせながら学習する.1つ目のネットワークは,画像識別を行うように学習する.2つ目のネットワークは,ある画像が1つ目のネットワークに入力されてうまく画像識別ができる場合に,この画像には似ているが1つ目のネットワークに入力した場合に間違った結果を出力するような画像を生成するように学習する.2つ目のネットワークがこのような画像を効率的に生成するためには,1つ目のネットワークの画像識別において大切な画像領域を大きく変化させた画像を生成すれば良い.このような学習を行うことで,画像識別において重要な画像領域が明示的に出力可能となるため,これを顕著性マップとして捉えることができる.

GANを用いた画像識別顕著性マップ生成

GANによるカラー調整と画像補完の同時実行

本研究では,カラー調整と画像補完で自然な貼り付け合成を行う問題を解決するために,コンテキストを考慮したカラー調整を行いつつ画像補完を行う手法を提案する.挿入するオブジェクト画像を明示的に補完領域に出現させるようにするため,コンテキストを考慮した補完にCNNとGenerative Adversarial Network (GAN)を利用し,背景画像全体からコンテキストに関する特徴を抽出する.さらにそのコンテキストの特徴を,画像補完のためだけでなく,カラー調整にも利用することで,コンテキストを考慮したカラー調整を行う.このようにして,カラー調整と画像補完の課題を同時に解決するネットワークを実現する.

圧縮センシングを用いたEpsilon Photography再構成による撮影後の画像制御

従来、撮影者はカメラにおける数多くのパラメータを撮影時に選択しなければならない.ライトフィールド撮影は,フォーカス位置と撮影視点について撮影後の画像制御を可能にしたが、解像度が低く、専用ハードウェアが必要であり,フォーカス位置や絞りの大きさの完全にフレキシブルな復元はできない.本研究は,従来カメラを用いて、フォーカス位置や絞りの大きさ,露光時間,ISOなどのパラメータを変えて連射撮影された10数枚の撮影画像から,あらゆるパラメータで撮影された画像を復元する技術に関するものである.たとえば,あらかじめ設定されたパラメータによる連写画像を入力とし,高ダイナミックレンジなFocus-Apertureスタックを完全に再構成する.

圧縮Epsilon Photographyの概念図
あるシーンを計画的に決められたパラメータによる数枚の連写撮影によって、撮影後の自由な画像制御を実現する.左上のように限られたパラメータで撮影された数枚の画像から、右上のように全パラメータで撮影されたスタックを復元する.

Aoki Media Sensing Lab.

Keio University
Dept. of Electrical Engineering, Faculty of Science and Technology

3-14-1 Hiyoshi, Kohoku-ku, Yokohama, Kanagawa

223-8522, Japan

Copyright © 2018 Aoki Media Sensing Lab. All Rights Reserved.
トップへ戻るボタン