実世界センシング

定常配置の学習に基づく物体の操作方法推定

不自然な配置の物体を自然な配置に復元するために必要な操作を推定する手法を提案する.提案手法は物体の操作を推定するための特別な層を配置したエンコーダ・デコーダ型のネットワークである.定常なシーンのレイアウトを与えるだけで,Self-supervisedに物体の配置変更手順を学習可能である.実画像に対する実験において,入力シーンを定常な状態に変更するための操作をリアルタイムで生成できることを確認した.

操作タスク入力に基づく物体の機能部推定

ロボットが単一の物体に対して,複数の扱 い方を行うための,物体のタスクに応じた機能部の記述方法である,タスク指向な機能部を提案した.アフォーダンスと異なり,タスク指向な機能部では,物体に対してタスクごとに機能部が存在するため,単一の物体に対し複数の扱い方を記述できる. 加えて,タスク指向な機能部を学習するためのデータセットの作成し,その推定方法を提案した.1200枚6000ラベルを含む自作のデータセットにおいて mean IOUは0.80を達成した.

Tactile Logging:人間動作解析に基づく物体表面への操作履歴の記述手法

RGB-D動画として撮影された人間による道具操作のデモンストレーションを解析する手法を提案する.提案手法では,人間の姿勢と操作対象の物体の3次元的な位置姿勢を追跡しながら,物体に発生するインタラクションを推定する.この結果を物体の3Dモデルの表面に時系列的な使用履歴(Tactile Log)として記録する.Tactile Logは物体の理想的な使用方法を顕在化するための新しいデータ表現であり,ロボットアームによる”自然な”道具の把持や取り扱い動作の生成に利用することが可能である.

生成されたTactile logの例.左があるフレームにおけるトラッキング中の対象物であり,右がこのフレームで記録された使用履歴である.接触が起きた部分に対応するクラスのログが記述される.

機能属性の空間配置に着目した類似形状物体の6自由度姿勢推定

対象物と同一の3Dモデルが存在しない場合おいても動作可能な6自由度姿勢推定手法を提案する.同一カテゴリの道具同士は,意匠が異なっていたとしても各部位の役割(機能属性)の配置は共通的であると考えられる.提案手法ではこれを姿勢推定の手がかりとする.機能属性の配置間の整合性と形状同士の整合性を同時に最適化することによって,姿勢推定の信頼性が向上することを確認した.実利用時には対象となるカテゴリの物体の3Dモデル1つにさえ機能属性や把持方法を関連付けておけば,そのまま現物の物体を取り扱うことが可能なので,対象物ごとにモデルデータを用意する必要がなくなるという利点がある.

提案手法の入出力.(入力:機能属ラベル付き点群,出力:姿勢変換パラメータ)

背面モアレ画像からの脊柱配列推定による側弯症スクリーニング

本研究では,X線被曝のない被験者の背面モアレ画像を入力とし,全自動で側彎症スクリーニングに必要なCobb角,およびVR角を算出する手法を提案している.モアレ画像とレントゲン画像を用い,レントゲン画像から専門医が脊柱の特徴点座標を抽出したものを教師データとしてCNNの学習を行うことで,モアレ画像のみから高精度に脊柱配列座標を推定する手法,および脊柱配列情報から自動的にCobb角,VR角を算出する方法を提案している.独自に構築したデータセットを対象に,提案手法の有効性を示した.現在,背面の3Dスキャンデータからの3次元脊柱配列推定手法について検討している.


Detection of Osteoarthritis from Multimodal Hand Data

※Accepted to EMBC2022 : Paper

距離画像を使用した側弯症診断

※Accepted to SITIS2022 : Paper

近年、モアレカメラの製造販売が中止になったことにより、モアレ画像からの側弯症診断が難しくなった。本研究では距離画像の前処理でモアレ画像、擬似モアレ画像、bilateral 相関画像を作成することにより、距離画像の特徴を強調させた。 前処理を行った画像で深層学習を用い、脊椎配列を推定した。距離画像からの推定結果より、前処理を行なった画像からの推定結果が精度高いことが確認できた。特に距離画像から復元したモアレ画像の推定結果が精度高い。

テニスの試合映像におけるショット検出

本研究は,テニスの試合中に行われる選手の「ショット」をフレームレベルで特定する手法を提案する.ディープラーニングにより,選手,ラケット,ボール,それぞれの動きを考慮することで,従来行われていたボールの検出に依存する手法よりも高精度にショットの検出を可能とした.本技術は,テニスに限らず卓球,バレーボールといったボールのショットを行うスポーツへの応用が期待できると同時に,物体を触る,物体を叩くといった行動に対して適応することで,ユーザーインターフェースとしての活用が考えられる.

ショット検出の例 (左下図が手前の選手, 右下図が奥の選手のショット検出結果)

ラグビー映像解析システム

本研究では,特徴量設計方式によるボール検出/追跡と,ディープラーニング方式による選出検出/追跡を行うハイブリッド型映像解析により,一つのカメラ映像からボール/選手の移動軌跡を精度良く二次元フィールド上にマッピングする技術を開発した.また,ディープラーニングによる自動的なプレー分類を行い,これまで人手で行われていた主要プレーのタグ付け作業の自動化を検討した.本技術は,ラグビーに限らず様々なスポーツへの活用が可能であるだけでなく,産業分野などスポーツ以外の用途への応用が期待されている.

ラグビー映像解析システム (選手・ボールの移動軌跡記録,プレー推定による自動タグ付け機能)

アメリカンフットボール映像解析システム

チームスポーツの中でも特に選手間遮蔽が大きく,プレー中の選手動作パターンが多いアメリカンフットボール映像において,選手位置やフィールド全体の動き情報といったGlobal Motion Featureを用いることで,プレー時間判定を行う.さらに,プレー開始 / 終了位置といった特徴的2地点の位置を算出し,アメリカンフットボールのプレーパターンであるPass, Run, Kickの分類を行った後,試合解析上重要な情報を持つボール軌跡を,ボール自体の検出を行わずに推定する手法を実現する.これにより,プレー時間 / プレー分類 / ボール軌跡情報を取得し,試合解析データベースを自動作成することが可能となる.

アメリカンフットボール映像解析システム

スイマートラッキングシステム

競泳映像を対象に,水しぶきなどのノイズに頑健で撮影環境に依存しない選手追跡・ストローク推定手法を提案する. 映像中から選手の検出・追跡を行い,検出された選手画像をCNNに入力することで,選手画像の特徴量を取得する.さらに,得られた特徴量からTemporal sequenceを作成し,MultiLSTMに入力することでストロークの推定を行う.最終的に得られた選手位置やストロークの情報をもとに選手の速さやストロークの可視化を行い,放送映像に重畳表示することで,Live感を増幅させることを狙っている.

Multi-LSTMを用いたストローク推定 (左:ストローク信号の推定,右:速度・ストロークの可視化結果)

Aoki Media Sensing Lab.

Keio University, Dept. of Electronics and Electrical Engineering
Faculty of Science and Technology

3-14-1 Hiyoshi, Kohoku-ku, Yokohama, Kanagawa, 223-8522, Japan

Copyright © Aoki Media Sensing Lab. All Rights Reserved.
トップへ戻るボタン