胸装着型小型カメラ1台によるモーションキャプチャ技術を開発

東京工業大学 情報理工学院 情報工学系の小池英樹教授、Hwang Dong-Hyunさん(博士課程２年)らの研究グループは、胸装着型の小型超魚眼カメラで撮影した映像を深層学習ネットワークで学習することで、利用者の身体形状を正確に推定するモーションキャプチャ技術を開発した。さらに、身体形状と同時に頭部の向きを推定し、一人称視点映像を合成することを可能にした。

従来の光学式モーションキャプチャでは、複数台の高性能カメラを部屋の天井や壁に固定し、利用者はマーカー付きスーツを着用して計測する必要があるため、利用者の運動範囲は狭い空間内に制限された。また、一人称視点映像の合成には頭部にカメラを別途装着する必要があった。今回開発した手法では、運動範囲の制限がないため、スポーツ科学、医療、アニメーション制作などの分野でのモーションキャプチャの利便性が高まると期待される。さらに、使用機材が小型カメラ1台のみであるため、コストダウンも可能である。

今回の成果は、東京工業大学の他、米国カーネギーメロン大学ロボティクスインスティテュートのKris M. Kitani教授との共同研究によるもので、国際会議「The 33rd Annual ACM Symposium on User Interface Software and Technology (UIST 2020)」で10月21日（現地時間）に発表された。

詳しくは下記東工大ニュースをご覧ください。

• 胸装着型小型カメラ1台によるモーションキャプチャ技術を開発｜東工大ニュース