一般社団法人 日本医療情報学会

[4-J-1-03] ヒューマントラッキング技術を用いた3DCTデータの関節動作の再現

*寺下 貴美1、佐藤 哲大1、小倉 敏裕1 (1. 群馬県立県民健康科学大学)

Human tracking, 3 dimensional computed tomography, Hinge joint, Saddle joint

【目的】近年、画像認識AIの発展によって、ヒューマントラッキング技術が飛躍的に発展した。この技術を用いて、人体の動きに合わせ3Dモデルなどを動かすことが容易になり、バーチャルリアリティに応用されている。一方、CTやMRIなどの断層像は、ボリュームレンダリングなどによって3次元的に表現できる。しかし、これらの画像は静的であり、関節を動かすことはできない。このような静的な画像において、人体の動きに応じた関節動作を再現できれば、可動域の障害や骨の干渉などの評価に利用できる可能性がある。そこで本研究は、ヒューマントラッキング技術を用いて、3DCTデータにおける関節動作の再現を試みた。 【方法】本研究の対象を手部とした。手指骨は1軸の蝶番関節、母指手根中指関節は2軸の鞍関節であるため選択した。まず、手部のX線撮影用ファントムをCTで撮影し、3Dデータを得た。この3Dデータをそれぞれの骨ごとに分割し、関節点を設定した。次に光学カメラで手を写した画像から、ハンドトラッキングにより特徴点を取得した。特徴点から手指骨の頭部と底部を結ぶベクトル、および手掌平面の法線ベクトルを設定した。これらのベクトルから骨の角度と位置を計算した。最後に、それぞれの骨の3Dデータに角度と位置を反映させ、総和値投影法ですべてのデータを統合し描画した。開発言語はpython、ハンドトラッキングのライブラリはMediaPipe(Google)を使用した。 【結果】ハンドトラッキングで取得した手の形状に応じて、関節の屈曲・伸展や外転・内転を伴う手部の骨の画像を確認することができた。本研究では骨のみ描画したが、筋肉などの軟部組織の可動も再現できれば、より現実感が高くなる。また機械学習によって骨や軟部組織のセグメンテーションを自動化できれば、個々のCTデータから関節動作の再現が可能になる。