イベントカメラ・センシング

イベントカメラを用いたシュリーレンイメージング技術による空気の対流の非侵襲推定

Accepted to T-PAMI
https://ieeexplore.ieee.org/document/10301562

シュリーレンイメージングとは、空気のような透明な媒質の密度変化をカメラで可視化する手法である。変化だけを記録するイベントカメラは、従来のフレームカメラと比べて、高速・高ダイナミックレンジの特徴を持つ。このような特性を活かして、イベントカメラを用いたシュリーレンイメージング技術を世界で初めて開発した。空気の熱対流などにおける密度の時間変化を推定できることを理論的・実験的に実証した。さらに、イベントカメラの特性によって、従来のフレームベースのイメージングに必要だった照明器具を不要にし、スローモーションでの解析ができることも示した。

Video:https://www.youtube.com/watch?v=Ev52n8KgxIU
Code:https://github.com/tub-rip/event_based_bos
Paper:https://ieeexplore.ieee.org/document/10301562

イベントカメラを用いた三次元人体スキャン

Accepted to CV4MR Workshop in CVPR2024
Project page: https://florpeng.github.io/event-based-human-scan/
Arxiv: https://arxiv.org/abs/2404.08504

従来の三次元姿勢推定・人体メッシュ復元手法は,カメラ自体の時間分解能やダイナミックレンジの限界によりシーンが制約される.そこでイベントカメラを用い,フレーム画像を利用せずにイベントのみから人体の3Dスキャンを行う手法を提案した.
提案手法はフレームベースの従来手法より高い精度での復元を実現したほか,ブラーの生じるような激しいカメラの動きに対する有効性も示した.

イベントベースオプティカルフロー推定のための自己教師あり学習によるノイズ除去

※Accepted to BMVC2022

イベントカメラは画素ごとの輝度変化を非同期かつ高い時間分解能で出力する.
時空間のイベントを局所的に線形だと仮定し,平面にフィッティングすることでnormal flowを推定することができる.
しかし,イベントにはノイズが多く含まれ,外れ値によってフィッティングが悪化するという問題がある.
これに対し,3次元構造を捉えるニューラルネットワークでノイズかどうかを判定する仕組みを導入し,サンプリングをしながら自己教師あり学習を行う手法を提案した.
ルールベースのイベントの選択に対して,推定フローの精度が向上した.

イベントカメラによるオプティカルフローとエゴモーション推定

※Accepted to ECCV2022 : arxiv, video, code
Sensors : Paper

イベントデータは従来の画像データと性質が大きく異なり、特に非同期的で時空間的な特性を持ちます。したがって、例えば近年の画像ベースのディープラーニングをそのまま適用することが必ずしも良いとは限りません。我々の研究では、この時空間的特性を詳細に分析し、さまざまなデータセットやシーンで高精度を達成するエゴモーション推定やオプティカルフロー推定手法を開発しています。特にオプティカルフロー推定では、コントラスト最大化法を拡張する形で、最適化ベースの手法で他の機械学習手法を上回る性能を達成しました。

オプティカルフロー推定の例

車載イベントカメラによるオプティカルフロー推定

イベントカメラを使ったオプティカルフロー推定のための,車の運動特徴と拡張焦点 (Focus of Expansion:FOE)に関する性質を利用した,車載カメラシーンに特化した正則化を提案する.FOEはカメラの並進軸と画像平面の交点で定義され,自車の運動による周囲環境物のオプティカルフローから回転による成分を除いた時,オプティカルフローはFOEから放射状になるという特徴がある.提案する正則化は,この特徴を用いてオプティカルフローの向きに制約をつけるものである.手法の途中で推定する回転パラメータを評価することで,この正則化の有用性を示した.

左:イベントカメラの出力(黄緑が-の変化,赤が+の変化を表している) 右:オプティカルフロー推定結果(色相がフローの向きを表し,明度が大きさを表している)

イベントカメラを用いた照明条件やぶれに頑健な二次元コード認識

工場の自動化において生産ラインでのQRコードの読み取りが重要になっているが,照明条件やベルトコンベアの速さによってブレが生じてしまう問題がある.この問題に対し,イベントカメラは輝度の変化を画素毎に非同期に捉えるカメラで,高時間分解能やハイダイナミックレンジなどの優れた特徴を持つ.本研究では,画像をQRコードとアフィン変換によって表現し,画像空間より制約がかかったQRコード空間で最適化を行うことで,イベントデータからQRコードロバストに推定する手法を提案した.

Aoki Media Sensing Lab.

Keio University, Dept. of Electronics and Electrical Engineering
Faculty of Science and Technology

3-14-1 Hiyoshi, Kohoku-ku, Yokohama, Kanagawa, 223-8522, Japan

Copyright © Aoki Media Sensing Lab. All Rights Reserved.
トップへ戻るボタン