エッジAI

イベントカメラなどの新しいビジョンセンサと、軽量で効率的なAIを組み合わせ、実世界の変化を素早く捉えるセンシング技術を研究しています。センサの特性を活かした画像復元や動き・三次元構造の推定に加え、推論処理や通信量の削減、能動学習によるラベル付けの効率化にも取り組んでいます。限られた計算資源やデータのもとで、高精度かつ実時間で動作するAIの実現を目指します。

イベントカメラの密なタスクにおける推論の効率化（MIRU2026）

イベントカメラは、画素ごとの輝度変化を非同期に出力するセンサです。低遅延、高ダイナミックレンジ、低消費電力という特長から、自動運転やロボティクスへの応用が期待されています。セマンティックセグメンテーションのように画素単位で予測する「密なタスク」は計算コストが高くなります。それにもかかわらず、従来の手法はシーンの変化の有無に関わらず、毎時刻すべての推論を行っていました。本研究では、シーンの変化に合わせて推論を動的に切り替えることで、処理を効率化する手法を提案しています。まず、軽量なエンコーダで得た特徴の変化をもとに、判定ネットワークが推論の要否を判断します。推論を省く時刻には、過去の予測結果をオプティカルフローで変形して使い回します。この省略時の処理は、通常の推論の約1/7の計算量で済みます。運転シーンのデータセットでの評価では、同じ計算量で、推論とWarpをランダムに切り替える方式よりも高いセグメンテーション精度が得られました。

通信帯域を考慮したイベント表現学習（MIRU2026）

イベントカメラは、画素ごとの輝度変化を非同期に出力するセンサで、高い時間分解能と広いダイナミックレンジを持っています。一方でデータレートは最大で数十Gbpsに達するため、エッジデバイスではそのまま扱えません。本研究では、カメラとエッジデバイスの間にFPGAを置くことを想定し、通信帯域に合わせてイベントを削減・再符号化する手法を提案しています。イベントストリームをボクセル化し、異なる特徴を捉える4種類の学習可能なカーネルと閾値によって、下流タスクに必要な情報を残しながらイベントを表現し直します。車載データセットDSECでの評価では、通信帯域を約40%削減しても生イベントと同等の画像復元性能を保てました。また、同じ伝送レートで比べると生イベントを上回る性能が得られています。

EMARS: Event-based Motion-Aware Correction, Deblurring and Interpolation of Rolling Shutter Images（ICIP 2026）

ローリングシャッター（RS）方式のCMOSセンサは低コストな反面、高速な動きに対して大きな幾何歪みやモーションブラーを生じ、応用範囲が制限されてきました。高い時間分解能を持つイベントカメラはこれらのアーティファクト補正に有用な動き手がかりを提供しますが、Implicit Neural Representation (INR) を用いた既存手法では暗黙的圧縮による情報損失で残存ブラーや細部欠落が課題でした。本研究では、時間条件付きオプティカルフローを中心的な運動学的制約として明示的に活用し、RS補正・デブラーリング・フレーム補間を統一的に実行する新たな枠組みを提案します。クエリ時刻に基づくオプティカルフロー抽出と Flow-Constrained INR により幾何的一貫性を強制し、物理的に整合した運動軌道の学習を実現することで、あらゆる時間アップサンプリング係数において最先端のPSNR・SSIMを達成しました。

Geometric-Photometric Event-based 3D Gaussian Ray Tracing （CVPR 2026 Highlight）

イベントカメラの「空間的に疎・時間的に密」というデータ特性を最大限活かしつつ、3D Gaussian Splatting (3DGS) による高品質な3次元再構成を実現する初の枠組み GPERT を提案します。本手法は、レイトレーシングを用いた イベント単位の幾何（深度）レンダリング と スナップショット単位の輝度レンダリング を分離し、Warped Events 画像を介して両者を統合することで、従来のイベントベース3DGS手法が抱えていた精度と時間分解能のトレードオフを解消します。事前学習モデルやCOLMAPによる初期化に一切依存せず、実世界データセットで最先端性能、最速クラスの学習時間、シーンエッジのシャープな復元を達成しました。
著者: Kai Kohyama, Yoshimitsu Aoki (慶應義塾大学), Guillermo Gallego (TU Berlin 他), Shintaro Shiba (慶應義塾大学 / 東京大学)

Project: https://e3ai.github.io/gpert/
Code: https://github.com/e3ai/gpert
Paper: https://arxiv.org/abs/2512.18640

Simultaneous Motion And Noise Estimation with Event Cameras（ICCV2025）

イベントカメラの生イベントのみから、運動（自律移動体の姿勢変化やオプティカルフロー）とノイズを同時推定する初の手法を提案します。従来はイベントの除ノイズ → 運動推定を別々に行っていましたが、本研究は両者を一体化し、イベントデータが本質的に運動と結び付いている点を積極的に利用します．
方法論としては、イベントベース運動推定の標準枠組みContrast Maximization（CMax）を拡張し、各イベントがコントラストに寄与する度合いを指標化して、イベントの信号/ノイズ判別と運動パラメータを反復的に最適化します。この枠組みは柔軟で、従来の1ステップCMaxだけでなく任意の運動推定器（深層学習モデルを含む）と組み合わせて利用できます。
実験では、イベント除ノイズの代表ベンチマークE-MLBで最先端、DND21で競合性能を達成。さらに、回転運動（ego-motion）やオプティカルフローの推定を頑健化し、強度画像再構成（E2VID/EVILIP等）においてもアーティファクト低減を確認しました。

Paper: https://arxiv.org/abs/2504.04029
Code: https://github.com/tub-rip/ESMD
Video: https://www.youtube.com/watch?v=iJZsIEWinXk

イベントカメラを用いたシュリーレンイメージング技術による空気の対流の非侵襲推定

シュリーレンイメージングとは、空気のような透明な媒質の密度変化をカメラで可視化する手法である。変化だけを記録するイベントカメラは、従来のフレームカメラと比べて、高速・高ダイナミックレンジの特徴を持つ。このような特性を活かして、イベントカメラを用いたシュリーレンイメージング技術を世界で初めて開発した。空気の熱対流などにおける密度の時間変化を推定できることを理論的・実験的に実証した。さらに、イベントカメラの特性によって、従来のフレームベースのイメージングに必要だった照明器具を不要にし、スローモーションでの解析ができることも示した。

Video：https://www.youtube.com/watch?v=Ev52n8KgxIU
Code：https://github.com/tub-rip/event_based_bos
Paper：https://ieeexplore.ieee.org/document/10301562

イベントカメラを用いた三次元人体スキャン

従来の三次元姿勢推定・人体メッシュ復元手法は，カメラ自体の時間分解能やダイナミックレンジの限界によりシーンが制約される．そこでイベントカメラを用い，フレーム画像を利用せずにイベントのみから人体の3Dスキャンを行う手法を提案した．
提案手法はフレームベースの従来手法より高い精度での復元を実現したほか，ブラーの生じるような激しいカメラの動きに対する有効性も示した．

イベントベースオプティカルフロー推定のための自己教師あり学習によるノイズ除去

イベントカメラは画素ごとの輝度変化を非同期かつ高い時間分解能で出力する．
時空間のイベントを局所的に線形だと仮定し，平面にフィッティングすることでnormal flowを推定することができる．
しかし，イベントにはノイズが多く含まれ，外れ値によってフィッティングが悪化するという問題がある．
これに対し，3次元構造を捉えるニューラルネットワークでノイズかどうかを判定する仕組みを導入し，サンプリングをしながら自己教師あり学習を行う手法を提案した．
ルールベースのイベントの選択に対して，推定フローの精度が向上した。

イベントカメラによるオプティカルフローとエゴモーション推定

イベントデータは従来の画像データと性質が大きく異なり、特に非同期的で時空間的な特性を持ちます。したがって、例えば近年の画像ベースのディープラーニングをそのまま適用することが必ずしも良いとは限りません。我々の研究では、この時空間的特性を詳細に分析し、さまざまなデータセットやシーンで高精度を達成するエゴモーション推定やオプティカルフロー推定手法を開発しています。特にオプティカルフロー推定では、コントラスト最大化法を拡張する形で、最適化ベースの手法で他の機械学習手法を上回る性能を達成しました。

Non-Deep Active Learning for Deep Neural Networks

Active Learningとは，教師データを作る際にラベル付けされるべき最も代表的なサンプルをサンプリングすることで，ラベル効率の高いアルゴリズムを設計することである．本研究ではタスクモデルの出力結果から，最も情報量の多いラベル付けされていないサンプルを導出するモデルを提案する．タスクは分類問題，マルチラベル分類とセマンティックセグメンテーション問題の三つを扱う．本モデルは不確実性指標生成器とタスクモデルで構成されている．ラベル付きサンプルでタスクモデルを学習させた後，ラベル無しサンプルをそのタスクモデルに予測させる．その予測結果から不確実性指標生成器がラベル無しサンプルごとの不確実性指標を出力．不確実性指標の高いサンプルを情報量が多いとみなし，サンプルの選択を行う．複数のデータセットを用いた実験の結果，本モデルは従来のActive Learning手法よりも高い精度を得ることができ，実行時間を最大約10分の1に短縮することに成功した．

車載イベントカメラによるオプティカルフロー推定

イベントカメラを使ったオプティカルフロー推定のための，車の運動特徴と拡張焦点 (Focus of Expansion:FOE)に関する性質を利用した，車載カメラシーンに特化した正則化を提案する．FOEはカメラの並進軸と画像平面の交点で定義され，自車の運動による周囲環境物のオプティカルフローから回転による成分を除いた時，オプティカルフローはFOEから放射状になるという特徴がある．提案する正則化は，この特徴を用いてオプティカルフローの向きに制約をつけるものである．手法の途中で推定する回転パラメータを評価することで，この正則化の有用性を示した.

イベントカメラを用いた照明条件やぶれに頑健な二次元コード認識

工場の自動化において生産ラインでのQRコードの読み取りが重要になっているが，照明条件やベルトコンベアの速さによってブレが生じてしまう問題がある．この問題に対し，イベントカメラは輝度の変化を画素毎に非同期に捉えるカメラで，高時間分解能やハイダイナミックレンジなどの優れた特徴を持つ．本研究では，画像をQRコードとアフィン変換によって表現し，画像空間より制約がかかったQRコード空間で最適化を行うことで，イベントデータからQRコードロバストに推定する手法を提案した.