Accepted to ECCV2022

従来，画像超解像分野において，高解像度で圧縮ノイズが少ない画像が超解像学習を成功させる既成概念となっていた．本研究では，Blockiness分布計測による画質評価, 画像セグメント数計測による被写体の多様性，およびこれらがSR学習成功の本質であることを実証する．提案するDiverSegデータセットは，低解像度なWeb収集画像で構成されているにも関わらず，既存の超解像データセットよりも高い性能を示した．

Accepted to ECCV2022

video transformerの事前学習には一般に大量のデータが必要であるが、大量の動画を収集・使用することは、コストが高いだけでなく、プライバシー、ライセンス、バイアスなどの問題が伴う。人工データを使用することは、これらの問題を解決する有望な方法の一つであるが、人工データのみで事前学習を行うことには依然として難しい課題である。本論文では、容易に入手可能で低コストな静止画像を活用して、動画認識モデルのための自己教師あり学習のフレームワークを提案する。提案法では、静止画に対して画像変換を再帰的に適用することで、擬似的な動きを持つ動画を生成する Pseudo-Motion Generator（PMG）モジュールを用いる。PMGによって生成された動画は、その後Masked Video Modelingの学習に活用される。本アプローチは、自然画像だけでなく人工画像にも適用可能であり、動画認識モデルの事前学習における、データ収集コストや実データに関するその他の懸念を解消することが可能である。行動認識タスクにおける実験を通じて、このフレームワークが擬似的な動きを持つ動画を通じて、時空間特徴の効果的な学習を可能にすることを示した。提案手法は、静止画像を使用する既存の手法を大幅に上回り、実動画と人工動画の両方を使用する手法の一部を凌駕することを確認した。

大量のデータを取得することが困難な応用先において、少数データ学習による画像認識が必要とされる。大規模なvision-languageモデルであるCLIPは、任意のクラスの画像をゼロショットで認識することができる一方で、下流タスクに対する性能には改善の余地が存在する。我々は、少数の学習データを用いてCLIPを下流タスクへ適応させる新たな手法であるProto-Adapterを提案する。本手法はクラス毎のプロトタイプ表現を用いて軽量なアダプターを構築することで、最小限の追加コストで下流タスクの性能を大幅に改善することが可能である。11種類の画像認識ベンチマークを用いた実験により、提案手法の有効性を確認した。

In outdoor environments, Vision-and-Language Navigation (VLN) requires an agent to rely on multi-modal cues from real-world urban environments and natural language instructions. While existing outdoor VLN models predict actions using a combination of panorama and instruction features, this approach ignores objects in the environment and learns data bias to fail navigation. According to our preliminary findings, most instances of navigation failure in previous models were due to turning or stopping at the wrong place. In contrast, humans intuitively frequently use identifiable objects or store names as reference landmarks, ensuring accurate turns and stops, especially in unfamiliar places. To address this insight gap, we propose an Object-Attention VLN (OAVLN) model that helps the agent focus on relevant objects during training and understand the environment better. Our model outperforms previous methods in all evaluation metrics under both seen and unseen scenarios on two existing benchmark datasets, Touchdown and map2seq.

シュリーレンイメージングとは、空気のような透明な媒質の密度変化をカメラで可視化する手法である。変化だけを記録するイベントカメラは、従来のフレームカメラと比べて、高速・高ダイナミックレンジの特徴を持つ。このような特性を活かして、イベントカメラを用いたシュリーレンイメージング技術を世界で初めて開発した。空気の熱対流などにおける密度の時間変化を推定できることを理論的・実験的に実証した。さらに、イベントカメラの特性によって、従来のフレームベースのイメージングに必要だった照明器具を不要にし、スローモーションでの解析ができることも示した。

従来の三次元姿勢推定・人体メッシュ復元手法は，カメラ自体の時間分解能やダイナミックレンジの限界によりシーンが制約される．そこでイベントカメラを用い，フレーム画像を利用せずにイベントのみから人体の3Dスキャンを行う手法を提案した．
提案手法はフレームベースの従来手法より高い精度での復元を実現したほか，ブラーの生じるような激しいカメラの動きに対する有効性も示した．

小売商品棚を対象にした画像認識のための大規模データセットを作成した. 小売商品棚は, 1枚の画像に大量の商品が同時に存在するという特性上, アノテーションコストが極めて高い. そこで我々は、3DCGを利用してフォトリアルな小売商品棚の画像を作成し, 同時にオブジェクトの3D座標データをもとにアノテーションを自動で付与することで, 200クラス、100,000枚の大規模なデータセットを作成した.
データセットはリンク先のページからダウンロード可能(利用は研究目的に限る).

MaskDiffusionは、学習済みの拡散モデルを活用した、追加の訓練やアノテーションを必要とせずにオープンボキャブラリーのセマンティックセグメンテーション手法である。我々は、MaskDiffusionが細かい固有名詞ベースのカテゴリーを含むオープンボキャブラリーを扱う際に優れた性能を発揮することを実証し、セグメンテーションの応用範囲を拡大する。MaskDiffusionは、Potsdamデータセット(+10.5mIoU)やCOCO-Stuff(+14.8mIoU)など、他の同等の教師なしセグメンテーション手法と比較して定性的、定量的に大きな改善を示している。

我々は、トレーニング、アノテーション、ガイダンスを必要としないオープンボキャブラリーセマンティックセグメンテーションを実現する新しいアプローチ、TAGを提案する。TAGは、CLIPやDINOのような事前に訓練されたモデルを利用し、追加の訓練や密なアノテーションなしに、画像を意味のあるカテゴリにセグメンテーションする。外部データベースからクラスラベルを取得し、新しいシナリオに適応する柔軟性を提供する。TAGは、PascalVOC、PascalContext、ADE20Kにおいて、クラス名を指定しないオープンボキャブラリのセグメンテーションで最先端の結果を達成している。

演技動画とトラッキングシステムから得られる運動学的特徴量を用いてジャンプの出来栄え点を予測する手法を提案した。提案手法では、時間情報の重み付けに加えて、演技動画からジャンプの出来栄えに影響のある特徴量を抽出するために人間の審判と選手の視線配置による空間方向の情報の重み付けを行うことで、ベースラインモデルからの精度向上を達成した。

演技動画とトラッキングシステムから得られる運動学的特徴量を用いてジャンプの出来栄え点を予測する手法を提案した。提案手法では、時間情報の重み付けに加えて、演技動画からジャンプの出来栄えに影響のある特徴量を抽出するために人間の審判と選手の視線配置による空間方向の情報の重み付けを行うことで、ベースラインモデルからの精度向上を達成した。

Semantic Boundary Conditioned Backbone (SBCB) フレームワークは，多様なセグメンテーション・アーキテクチャとの互換性を維持しながら，特にマスク境界でのセマンティック・セグメンテーションのパフォーマンスを向上させる効果的な学習方法です．このフレームワークは，セグメンテーション・アーキテクチャのバックボーンから得られるマルチスケールの特徴をセマンティック境界検出（SBD）のマルチタスク学習を行い，より境界を理解した特徴を得られます．このアプローチにより，Cityscapes データセットで平均 1.2% の IoU 向上と 2.6% のboundary F スコアの向上が達成でき，セグメンテーションの精度が向上しました。 SBCB フレームワークは，ビジョン・トランスフォーマー・モデルを含むさまざまなバックボーンにうまく適応し，モデルに複雑さを導入することなくセマンティック・セグメンテーションを進歩させる可能性を示しています。

Vision-and-Language Navigation(VLN)タスクは，ロボットが自然言語の指示を使用して実世界の環境をナビゲートすることを目指している．近年、多くのVLNモデルが提案されてきたが，これらは指示とパノラマ特徴を結合して行動のシーケンスを予測し，特定のセマンティクスや物体認識をしばしば見落としている．予備実験により，既存のモデルが物体トークンに十分な注意を払っていないことが明らかとなった．この傾向は，人間が馴染みのない地域をナビゲートする際にランドマークに頼る様子とは対照的である．そこで，本研究はナビゲーション指示内の物体に焦点を当てるように設計された，エージェントの環境理解を向上させるObject-Attention VLN (OAVLN) モデルを提案する．複数のデータセットでの実験結果から，OAVLNの優越性が示され，オブジェクトを主要なナビゲーションランドマークとして活用し，エージェントを正確に制御する能力が確認された．

動画は画像と比較して非常に処理コストが高い一方，各フレーム画像は似通っており冗長性が高い．本研究では時間的な動きや変化が小さいパッチを冗長と判断し，入力から除外することで処理コストを削減する動画認識手法を提案した．時間的な動きや変化には圧縮動画を復号する過程で副次的に得られる情報を用いるため，追加で必要な処理コストはパッチを除外することによって削減される処理コストと比較して僅かである．提案手法をTransformerベースの動画認識モデルに適用することで，行動認識において 1 ポイント以下の精度低下で 70 % 以上の処理コスト削減を達成した．