ピアノ演奏時の画像から筋活動を高精度に推定する手法を開発

東京科学大学（Science Tokyo） 情報理工学院 情報工学系の小池英樹教授、ソニーコンピュータサイエンス研究所の古屋晋一博士らの研究チームは、カメラで撮影した手指画像だけを用いて、手指の筋電位を高精度に推定する深層学習ネットワーク ^[用語1] 「PianoKPM Net」を開発しました。また、20名の熟練ピアニストのピアノ演奏時の手指姿勢、キーストローク、音声、筋電情報からなるピアノデータセット「PianoKPM Dataset」を世界に公開しました。

音楽、スポーツなどにおける技能獲得のためには、外部から観測可能な姿勢の模倣だけでなく、内部的な筋活動を模倣することが重要です。従来、筋活動を計測するためには、対象となる筋肉の上に筋電（EMG）センサ ^[用語2] を一つ一つ貼付しなければなりませんでした。しかし、一般にEMGセンサは価格が高く、かつ複数個のセンサの貼付には多大な時間と高いスキルが必要です。この課題に対して、本研究チームが開発した「PianoKMP Net」は、カメラが撮影する手指姿勢画像を用いて、筋電位を高精度に推定することに成功しました。これにより、誰もがカメラだけを用いて容易に筋電を計測（推定）できるようになり、技能獲得が身近なものとなります。

また、本研究の過程で得られたピアノ演奏に関するマルチモーダルデータセット「PianoKMP Dataset」をインターネット上で公開しました。今後、全世界でピアノ演奏支援研究に使用されることが期待されます。

本研究成果は、2025年9月19日にオンラインで公開され、12月2日から米国・サンディエゴで開催される神経科学に関する国際会議「39^th Conference on Neural Information Processing Systems (NeurIPS 2025)」で発表されます。

用語説明

[用語1] 深層学習ネットワーク：人間の神経細胞の仕組みをモデルとしたニューラルネットワークを多層化した機械学習システム。

[用語2] 筋電（EMG）センサ：筋肉が収縮する時の活動電位を皮膚表面から計測するセンサ。

詳しくは、下記 Science Tokyo ニュースをご覧ください。

• ピアノ演奏時の画像から筋活動を高精度に推定する手法を開発｜Science Tokyoニュース