演技動画とトラッキングシステムから得られる運動学的特徴量を用いてジャンプの出来栄え点を予測する手法を提案した。提案手法では、時間情報の重み付けに加えて、演技動画からジャンプの出来栄えに影響のある特徴量を抽出するために人間の審判と選手の視線配置による空間方向の情報の重み付けを行うことで、ベースラインモデルからの精度向上を達成した。

不自然な配置の物体を自然な配置に復元するために必要な操作を推定する手法を提案する．提案手法は物体の操作を推定するための特別な層を配置したエンコーダ・デコーダ型のネットワークである．定常なシーンのレイアウトを与えるだけで，Self-supervisedに物体の配置変更手順を学習可能である．実画像に対する実験において，入力シーンを定常な状態に変更するための操作をリアルタイムで生成できることを確認した.

ロボットが単一の物体に対して，複数の扱 い方を行うための，物体のタスクに応じた機能部の記述方法である，タスク指向な機能部を提案した.アフォーダンスと異なり，タスク指向な機能部では，物体に対してタスクごとに機能部が存在するため，単一の物体に対し複数の扱い方を記述できる. 加えて，タスク指向な機能部を学習するためのデータセットの作成し，その推定方法を提案した.1200枚6000ラベルを含む自作のデータセットにおいて mean IOUは0.80を達成した．

RGB-D動画として撮影された人間による道具操作のデモンストレーションを解析する手法を提案する．提案手法では，人間の姿勢と操作対象の物体の3次元的な位置姿勢を追跡しながら，物体に発生するインタラクションを推定する．この結果を物体の3Dモデルの表面に時系列的な使用履歴（Tactile Log）として記録する．Tactile Logは物体の理想的な使用方法を顕在化するための新しいデータ表現であり，ロボットアームによる”自然な”道具の把持や取り扱い動作の生成に利用することが可能である．

対象物と同一の3Dモデルが存在しない場合おいても動作可能な6自由度姿勢推定手法を提案する．同一カテゴリの道具同士は，意匠が異なっていたとしても各部位の役割（機能属性）の配置は共通的であると考えられる．提案手法ではこれを姿勢推定の手がかりとする．機能属性の配置間の整合性と形状同士の整合性を同時に最適化することによって，姿勢推定の信頼性が向上することを確認した．実利用時には対象となるカテゴリの物体の3Dモデル1つにさえ機能属性や把持方法を関連付けておけば，そのまま現物の物体を取り扱うことが可能なので，対象物ごとにモデルデータを用意する必要がなくなるという利点がある．

本研究では，Ｘ線被曝のない被験者の背面モアレ画像を入力とし，全自動で側彎症スクリーニングに必要なCobb角，およびVR角を算出する手法を提案している．モアレ画像とレントゲン画像を用い，レントゲン画像から専門医が脊柱の特徴点座標を抽出したものを教師データとしてCNNの学習を行うことで，モアレ画像のみから高精度に脊柱配列座標を推定する手法，および脊柱配列情報から自動的にCobb角，VR角を算出する方法を提案している．独自に構築したデータセットを対象に，提案手法の有効性を示した．現在，背面の3Dスキャンデータからの3次元脊柱配列推定手法について検討している．

世界中で高齢化が進む中、高齢化に伴って発現リスクの高まる関節疾患である変形性手関節症(OA)に罹患する人が着実に増えている.。現状のOA診断は訓練された医師によるエコー診断やX線診断で行われており、患者の負担軽減や診断の効率化を可能にする技術が必要になっている。本研究では、慶應大学病院で新たに集めた200人以上の患者のビデオ、RGB 画像、サーマル画像の3つのモーダルによって構成されるデータを用いて、手指の関節点単位で OAを自動的に検出するパイプラインを提案した。手指のOAを関節単位で診断する研究は本研究が初である。

近年、モアレカメラの製造販売が中止になったことにより、モアレ画像からの側弯症診断が難しくなった。本研究では距離画像の前処理でモアレ画像、擬似モアレ画像、bilateral 相関画像を作成することにより、距離画像の特徴を強調させた。 前処理を行った画像で深層学習を用い、脊椎配列を推定した。距離画像からの推定結果より、前処理を行なった画像からの推定結果が精度高いことが確認できた。特に距離画像から復元したモアレ画像の推定結果が精度高い。

本研究は，テニスの試合中に行われる選手の「ショット」をフレームレベルで特定する手法を提案する．ディープラーニングにより，選手，ラケット，ボール，それぞれの動きを考慮することで，従来行われていたボールの検出に依存する手法よりも高精度にショットの検出を可能とした．本技術は，テニスに限らず卓球，バレーボールといったボールのショットを行うスポーツへの応用が期待できると同時に，物体を触る，物体を叩くといった行動に対して適応することで，ユーザーインターフェースとしての活用が考えられる.

本研究では，特徴量設計方式によるボール検出／追跡と，ディープラーニング方式による選出検出／追跡を行うハイブリッド型映像解析により，一つのカメラ映像からボール／選手の移動軌跡を精度良く二次元フィールド上にマッピングする技術を開発した．また，ディープラーニングによる自動的なプレー分類を行い，これまで人手で行われていた主要プレーのタグ付け作業の自動化を検討した．本技術は，ラグビーに限らず様々なスポーツへの活用が可能であるだけでなく，産業分野などスポーツ以外の用途への応用が期待されている．

チームスポーツの中でも特に選手間遮蔽が大きく，プレー中の選手動作パターンが多いアメリカンフットボール映像において，選手位置やフィールド全体の動き情報といったGlobal Motion Featureを用いることで，プレー時間判定を行う．さらに，プレー開始 / 終了位置といった特徴的2地点の位置を算出し，アメリカンフットボールのプレーパターンであるPass, Run, Kickの分類を行った後，試合解析上重要な情報を持つボール軌跡を，ボール自体の検出を行わずに推定する手法を実現する．これにより，プレー時間 / プレー分類 / ボール軌跡情報を取得し，試合解析データベースを自動作成することが可能となる．

競泳映像を対象に，水しぶきなどのノイズに頑健で撮影環境に依存しない選手追跡・ストローク推定手法を提案する. 映像中から選手の検出・追跡を行い，検出された選手画像をCNNに入力することで，選手画像の特徴量を取得する．さらに，得られた特徴量からTemporal sequenceを作成し，MultiLSTMに入力することでストロークの推定を行う．最終的に得られた選手位置やストロークの情報をもとに選手の速さやストロークの可視化を行い，放送映像に重畳表示することで，Live感を増幅させることを狙っている．