EMGセンサによる筋電位測定は、高価格かつ作業に多大な時間と高いスキルが必要

東京科学大学は11月26日、カメラで撮影した手指画像だけを用いて、手指の筋電位を高精度に推定する深層学習ネットワーク「PianoKPM Net」を開発したと発表した。この研究は、同大情報理工学院情報工学系の小池英樹教授、ソニーコンピュータサイエンス研究所の古屋晋一博士らの研究グループによるもの。研究成果は、「39th Conference on Neural Information Processing Systems（NeurIPS 2025）」で発表された。

画像はリリースより
（詳細は▼関連リンクからご確認ください）

音楽演奏やスポーツにおける技能獲得のためには、外部から観察可能な姿勢を模倣するだけでは不十分で、内部的な筋活動を知ることが重要であることがわかっている。従来、筋活動を知るためには、筋電（Electromyography：EMG）センサを対象とする筋肉の上に貼付して筋電位を計測していたが、一般にEMGセンサは高価格で、かつ複数個のEMGセンサを正しい位置に貼付する作業には多大な時間と高いスキルが必要だった。

手指のカメラ画像から筋電位を高精度推定する深層学習ネットワーク「PianoKPM Net」を開発

今回の研究では、カメラで撮影した手指の画像から筋電位を高精度に推定する深層学習ネットワーク「PianoKPM Net」を開発した。

熟練ピアニスト20人のマルチメディアデータを活用し、手指画像からの筋電データ推定に成功

開発に際して研究グループは、熟練ピアニスト20人にピアノを演奏してもらい、5万フレームにもおよぶ演奏時の手指画像と同タイミングのキーストロークや音声、筋電データを計測した。このマルチメディアデータを用いて深層学習ネットワークを学習させることで、最終的に手指画像から筋電データを推定することに成功した。

従来手法と比べて、より高精度な手指姿勢推定も確認

また、同手法は従来手法と比べて、より高精度に手指姿勢が推定できることも実験によって確認した。さらに、実験の過程で得られたマルチメディアデータ「PianoKPM Dataset」は、今後の深層学習を用いた手指姿勢認識研究に有効利用されることを目指して、世界に向けてインターネット公開した。

EMGセンサなしでも容易に筋電を計測可能、学習を効率化

従来、筋電計測は価格的にも作業的にも非常にコストが高いものであった。同手法によりカメラ画像だけを用いて筋電を推定できたことで、EMGセンサを持たない人でも容易に筋電を計測（推定）することが可能となった。その結果、熟練ピアニストの動画から彼らの筋肉の使い方を知り、また自分の演奏画像から推定された筋肉の使い方を比較することで、熟練ピアニストの手指の使い方をより効率的に学習することが可能となる。

スポーツなど他の筋活動推定に応用可能、技能の遠隔教育の実現にも期待

今回の研究成果は、これまで主に熟練者の姿勢を模倣することに着目していたピアノ演奏の学習に対して、熟練者の筋肉の使い方を提示するという学習方法によって、効率的な技能獲得の実現に向けて貢献するものである。今後はデータセットのさらなる充実により、さらに高精度な筋電推定を可能にし、手指だけでなく上半身や下半身の筋電推定にも拡張させることを想定している。

また、同研究はピアノ演奏を対象としたものであるが、開発した深層学習ネットワークのフレームワークは他の技能獲得支援、例えばスポーツにおける筋活動の推定にも応用可能である。従来、一部の熟練ピアニストやトップアスリートだけを対象としていた筋電計測を、カメラ画像を用いるだけで誰もが簡単に計測（推定）することが可能となり、技能獲得支援をより効率的にすることが期待される。将来的には、遠隔地の高価な生体計測機器がない環境でも、低遅延の通信ネットワーク上での使用と組み合わせることで、技能の遠隔教育に貢献できると考える、と研究グループは述べている。（QLifePro編集部）