テニスの試合映像におけるショット検出

本研究は，テニスの試合中に行われる選手の「ショット」をフレームレベルで特定する手法を提案する．ディープラーニングにより，選手，ラケット，ボール，それぞれの動きを考慮することで，従来行われていたボールの検出に依存する手法よりも高精度にショットの検出を可能とした．本技術は，テニスに限らず卓球，バレーボールといったボールのショットを行うスポーツへの応用が期待できると同時に，物体を触る，物体を叩くといった行動に対して適応することで，ユーザーインターフェースとしての活用が考えられる.

ショット検出の例
（左下図が手前の選手, 右下図が奥の選手のショット検出結果）

ラグビー映像解析システム

本研究では，特徴量設計方式によるボール検出／追跡と，ディープラーニング方式による選出検出／追跡を行うハイブリッド型映像解析により，一つのカメラ映像からボール／選手の移動軌跡を精度良く二次元フィールド上にマッピングする技術を開発した．また，ディープラーニングによる自動的なプレー分類を行い，これまで人手で行われていた主要プレーのタグ付け作業の自動化を検討した．本技術は，ラグビーに限らず様々なスポーツへの活用が可能であるだけでなく，産業分野などスポーツ以外の用途への応用が期待されている．

アメリカンフットボール映像解析システム

チームスポーツの中でも特に選手間遮蔽が大きく，プレー中の選手動作パターンが多いアメリカンフットボール映像において，選手位置やフィールド全体の動き情報といったGlobal Motion Featureを用いることで，プレー時間判定を行う．さらに，プレー開始 / 終了位置といった特徴的2地点の位置を算出し，アメリカンフットボールのプレーパターンであるPass, Run, Kickの分類を行った後，試合解析上重要な情報を持つボール軌跡を，ボール自体の検出を行わずに推定する手法を実現する．これにより，プレー時間 / プレー分類 / ボール軌跡情報を取得し，試合解析データベースを自動作成することが可能となる．

スイマートラッキングシステム

競泳映像を対象に，水しぶきなどのノイズに頑健で撮影環境に依存しない選手追跡・ストローク推定手法を提案する. 映像中から選手の検出・追跡を行い，検出された選手画像をCNNに入力することで，選手画像の特徴量を取得する．さらに，得られた特徴量からTemporal sequenceを作成し，MultiLSTMに入力することでストロークの推定を行う．最終的に得られた選手位置やストロークの情報をもとに選手の速さやストロークの可視化を行い，放送映像に重畳表示することで，Live感を増幅させることを狙っている．