[OP-2-1] 手指動作解析のアプリケーション開発
～ Google MediaPipe Hands を使った手指動画像の解析～
【序論】
近年，AIによる画像処理の発達は目覚ましく，医療の分野でも活用され始めている．2019年にGoogleが開発し，提供しているオープンソースのMediaPipeは，機械学習と画像処理の機能が搭載されたライブラリであり，AR（拡張現実）アプリケーションなどを作成するためのフレームワークである．これまでに我々の研究グループは小型赤外線2眼カメラ（Leap Motion）を用いた三次元動作解析による手指機能評価アプリケーション：Fahrenheit（特許 第6375328号）を開発し，手指の運動を数値化することで運動麻痺の自動判別を推定できることを報告してきた (Saito T, et al. 2021)．我々は，Fahrenheitの機能をスマートフォンやタブレット端末で利用可能なMediaPipeに移行すれば，臨床における手指動作解析の実効性を高めることができると考えた．この動画撮像用カメラと一体化した動作解析システムは，対象者の微細な変化や運動パターンを解析でき，評価や治療において療法士と患者とに練習目標を共有するための強力なツールとなる．
【目的】
本研究は，MediaPipeに画像を検出させて得た「手」の骨格モデルから関節の最大角度と動作時の角速度を算出し，Fahrenheitの測定データと比較して基準関連妥当性を検証することを目的とした．
【方法】
対象は，研究機関脳卒中センターに入院した急性期脳卒中患者のうち，研究への同意が得られた40名（女性9名，男性21名，年齢71歳）とした．（倫理審査委員会承認：I21-29）被験者の手指動作は，Fahrenheitで測定され，同時に動画像でも記録された．Fahrenheitの測定は，椅子または車椅子座位とし，Leap motionから約20cm上方に手を位置させ，PCのモニターに表示される開始合図から20秒間に可能な限り素早く手指の屈曲伸展を反復させた．解析に用いた手指の動画像は，Fahrenheitの測定時に上方からiPadで撮像したものを使用し，その画像から手指の座標データを抽出した．サンプリングレートは30fpsとして静止画像に切り分け，各画像に対してMediaPipeのキーポイントを用いて座標を抽出し，測定の10秒後から20秒間のデータを解析に用いた．Brunnstrom Stage別に，各指のPIP関節の最大屈曲角度・最大角速度・平均角速度について，二つの時系列データ間の類似度をDynamic Time Warping（DTW）DTW距離と相互相関係数により一致度を検証した．
【結果】
BRSⅠ・Ⅱ患者を除く全てのデータについて，MediaPipeとFahrenheitのDTW距離は0.092–0.579， CCCは0.374–0.986であった．中指・環指は強い相関が示された(DTW = 0.216 , CCC=0.758)．BRSⅠとⅡの患者10名はデータの個体差が大きく，DTWは0.106-0.535，CCC は0.251-0.963であった．
【考察】
MediaPipeでの手指関節のトラッキングはFahrenheitと概ね一致しており，手指の動作解析のための測定が可能となることが示唆された．MediaPipeは光学式のトラッキングシステムよりも脱落するフレームが少ないため運動速度が速くても追跡が可能であるため精度の信頼性は高い．半面，撮像した対象の動きが少ない場合，キーポイントの検出を常時おこなっていることからノイズが大きくなり，誤推定が生じることがわかった．
近年，AIによる画像処理の発達は目覚ましく，医療の分野でも活用され始めている．2019年にGoogleが開発し，提供しているオープンソースのMediaPipeは，機械学習と画像処理の機能が搭載されたライブラリであり，AR（拡張現実）アプリケーションなどを作成するためのフレームワークである．これまでに我々の研究グループは小型赤外線2眼カメラ（Leap Motion）を用いた三次元動作解析による手指機能評価アプリケーション：Fahrenheit（特許 第6375328号）を開発し，手指の運動を数値化することで運動麻痺の自動判別を推定できることを報告してきた (Saito T, et al. 2021)．我々は，Fahrenheitの機能をスマートフォンやタブレット端末で利用可能なMediaPipeに移行すれば，臨床における手指動作解析の実効性を高めることができると考えた．この動画撮像用カメラと一体化した動作解析システムは，対象者の微細な変化や運動パターンを解析でき，評価や治療において療法士と患者とに練習目標を共有するための強力なツールとなる．
【目的】
本研究は，MediaPipeに画像を検出させて得た「手」の骨格モデルから関節の最大角度と動作時の角速度を算出し，Fahrenheitの測定データと比較して基準関連妥当性を検証することを目的とした．
【方法】
対象は，研究機関脳卒中センターに入院した急性期脳卒中患者のうち，研究への同意が得られた40名（女性9名，男性21名，年齢71歳）とした．（倫理審査委員会承認：I21-29）被験者の手指動作は，Fahrenheitで測定され，同時に動画像でも記録された．Fahrenheitの測定は，椅子または車椅子座位とし，Leap motionから約20cm上方に手を位置させ，PCのモニターに表示される開始合図から20秒間に可能な限り素早く手指の屈曲伸展を反復させた．解析に用いた手指の動画像は，Fahrenheitの測定時に上方からiPadで撮像したものを使用し，その画像から手指の座標データを抽出した．サンプリングレートは30fpsとして静止画像に切り分け，各画像に対してMediaPipeのキーポイントを用いて座標を抽出し，測定の10秒後から20秒間のデータを解析に用いた．Brunnstrom Stage別に，各指のPIP関節の最大屈曲角度・最大角速度・平均角速度について，二つの時系列データ間の類似度をDynamic Time Warping（DTW）DTW距離と相互相関係数により一致度を検証した．
【結果】
BRSⅠ・Ⅱ患者を除く全てのデータについて，MediaPipeとFahrenheitのDTW距離は0.092–0.579， CCCは0.374–0.986であった．中指・環指は強い相関が示された(DTW = 0.216 , CCC=0.758)．BRSⅠとⅡの患者10名はデータの個体差が大きく，DTWは0.106-0.535，CCC は0.251-0.963であった．
【考察】
MediaPipeでの手指関節のトラッキングはFahrenheitと概ね一致しており，手指の動作解析のための測定が可能となることが示唆された．MediaPipeは光学式のトラッキングシステムよりも脱落するフレームが少ないため運動速度が速くても追跡が可能であるため精度の信頼性は高い．半面，撮像した対象の動きが少ない場合，キーポイントの検出を常時おこなっていることからノイズが大きくなり，誤推定が生じることがわかった．