イベントカメラ・センシング

イベントベースオプティカルフロー推定のための自己教師あり学習によるノイズ除去

※Accepted to BMVC2022

イベントカメラは画素ごとの輝度変化を非同期かつ高い時間分解能で出力する.
時空間のイベントを局所的に線形だと仮定し,平面にフィッティングすることでnormal flowを推定することができる.
しかし,イベントにはノイズが多く含まれ,外れ値によってフィッティングが悪化するという問題がある.
これに対し,3次元構造を捉えるニューラルネットワークでノイズかどうかを判定する仕組みを導入し,サンプリングをしながら自己教師あり学習を行う手法を提案した.
ルールベースのイベントの選択に対して,推定フローの精度が向上した.

イベントカメラによるオプティカルフローとエゴモーション推定

※Accepted to ECCV2022 : arxiv, video, code
Sensors : Paper

イベントデータは従来の画像データと性質が大きく異なり、特に非同期的で時空間的な特性を持ちます。したがって、例えば近年の画像ベースのディープラーニングをそのまま適用することが必ずしも良いとは限りません。我々の研究では、この時空間的特性を詳細に分析し、さまざまなデータセットやシーンで高精度を達成するエゴモーション推定やオプティカルフロー推定手法を開発しています。特にオプティカルフロー推定では、コントラスト最大化法を拡張する形で、最適化ベースの手法で他の機械学習手法を上回る性能を達成しました。

オプティカルフロー推定の例

車載イベントカメラによるオプティカルフロー推定

イベントカメラを使ったオプティカルフロー推定のための,車の運動特徴と拡張焦点 (Focus of Expansion:FOE)に関する性質を利用した,車載カメラシーンに特化した正則化を提案する.FOEはカメラの並進軸と画像平面の交点で定義され,自車の運動による周囲環境物のオプティカルフローから回転による成分を除いた時,オプティカルフローはFOEから放射状になるという特徴がある.提案する正則化は,この特徴を用いてオプティカルフローの向きに制約をつけるものである.手法の途中で推定する回転パラメータを評価することで,この正則化の有用性を示した.

左:イベントカメラの出力(黄緑が-の変化,赤が+の変化を表している) 右:オプティカルフロー推定結果(色相がフローの向きを表し,明度が大きさを表している)

イベントカメラを用いた照明条件やぶれに頑健な二次元コード認識

工場の自動化において生産ラインでのQRコードの読み取りが重要になっているが,照明条件やベルトコンベアの速さによってブレが生じてしまう問題がある.この問題に対し,イベントカメラは輝度の変化を画素毎に非同期に捉えるカメラで,高時間分解能やハイダイナミックレンジなどの優れた特徴を持つ.本研究では,画像をQRコードとアフィン変換によって表現し,画像空間より制約がかかったQRコード空間で最適化を行うことで,イベントデータからQRコードロバストに推定する手法を提案した.

Aoki Media Sensing Lab.

Keio University, Dept. of Electronics and Electrical Engineering
Faculty of Science and Technology

3-14-1 Hiyoshi, Kohoku-ku, Yokohama, Kanagawa, 223-8522, Japan

Copyright © Aoki Media Sensing Lab. All Rights Reserved.
トップへ戻るボタン