研究内容
画像/動画の認識・生成
深層学習により，画像認識・生成技術は飛躍的な進歩を遂げています．当研究室では，単に既存の深層学習モデルを適用するのではなく，新しいアーテクチャや学習手法を追求し，画像/動画の認識・生成といった画像センシング技術に関する研究を展開しています．画像のみならず，音声や他のセンサー情報等を含めたマルチモーダルセンシング技術も研究対象です．これにより，画像センシングによる新技術の発信と新たな価値の創出を目指しています．
シーン理解・行動認識
人の形状や動作を高精度かつ効率的にモデリングする表現の獲得と，機械学習による人物認識の研究を進めてきました．映像中からの頑健な人物の検出・追跡，姿勢推定，動作解析，行動認識・予測技術に関する研究，キャプション等自然言語処理と組み合わせたシーン内容理解に関する研究などを推進しながら，様々な実利用への適用を目指しています．
イベントカメラ・センシング
イベントカメラは，高い時間分解能，高いダイナミックレンジと最小のブレで，画像空間のエッジの動きに非同期的に反応する，人の網膜に着想を得た新しいビジョンセンサです．これらの特徴は，従来のフレームベースカメラにとって難しいシーンにおいて有用ですが，その非同期で疎なデータに対して新しいアルゴリズムを構築する必要があります．当研究室では，イベントカメラの特性を活かしたセンシングに向けて，イベントデータからの画像復元やオプティカルフロー推定，それらの物体検出への応用に関する研究を行っています．
機械学習の効率化
機械学習，特に深層学習ベースの手法においては，多数の教師データを用意する必要があり，様々な場面での実応用上の課題となっています．当研究室では，少数サンプルでの学習，異なるドメイン間での適応（ドメイン適応），効率的なアノテーションを支援するActive Learningなどの研究を通して，より効率的で実用的な機械学習手法を追求しています．
実世界センシング
これまでのロボットは，丁寧な指示に基づき，様々なサービスを行ってきました．当研究室では，実時間での人物行動認識，物体・環境認識技術と，過去の行動ログなどを用い，シーンや人物の状況を察し，様々な”気付き”を得ながら，適切に振る舞う知能ロボットの研究開発を進めています．また，自動車，医療，スポーツなど，実世界でロバストに動作するセンシングシステムに関する研究を行っています．
最近の研究成果
- Rethinking Image Super-Resolution from Training Data Perspectives
- Data Collection-free Masked Video Modeling
- Proto-Adapter: Efficient Training-Free CLIP-Adapter for Few-Shot Image Classification
- Guided by the Way: The Role of On-the-route Objects and Scene Text in Enhancing Outdoor Navigation
- イベントカメラを用いたシュリーレンイメージング技術による空気の対流の非侵襲推定
- イベントカメラを用いた三次元人体スキャン
- 小売商品棚を対象にした画像認識のための大規模データセット構築
- MaskDiffusion: Exploiting Pre-trained Diffusion Models for Semantic Segmentation
- TAG: Guidance-free Open-Vocabulary Semantic Segmentation
- 専門家の視線を活用したフィギュアスケートジャンプの質の評価
- Boosting Semantic Segmentation by Conditioning the Backbone with Semantic Boundaries
- Boosting Outdoor Vision-and-Language Navigation with On-the-route Objects
- 重要パッチ選択に基づく効率的な動画認識
- 術具情報を考慮した形成外科手術における自動工程分類
- 音響情報を用いた人物姿勢推定
- イベントベースオプティカルフロー推定のための自己教師あり学習によるノイズ除去
- イベントカメラによるオプティカルフローとエゴモーション推定
- 効率的な３DCG背景制作のための360度画像の周辺補完
- 完全合成画像での学習による文書画像の影除去
- 動的シーングラフ生成における物体と関係性の同時検出
- Secrets of Event-Based Optical Flow
- Non-Deep Active Learning for Deep Neural Networks
- Detection of Osteoarthritis from Multimodal Hand Data
- 距離画像を使用した側弯症診断
