Japan Association for Medical Informatics

[3-P-1-04] スマートグラスを用いた医療安全向上支援システムの開発

*Ryo Toyama1, Takashi Yoshino1, Akinori Nishikawa2 (1. 和歌山大学, 2. 和歌山県立医科大学)

Machine learning, Medical equipment recognition, AR glasses, Medical support

【背景・目的】医療行為において少人数で行われる検査や手技は,現場の医療従事者による即時の判断が必要であり,不安定な心身状態などにより判断を間違えることは重大な医療事故に繋がる.しかし,医療行為をする際に,注意すべき事項を常に意識できるとは限らない.そこで我々は,拡張現実の利用により視界を妨げることを避けることができるスマートグラスを用いて,検査の手順やガイドなどの注意喚起情報を提示するシステムを開発している.【方法】本研究において医療機器認識モデルに学習させた医療機器は,骨髄穿刺針,腰椎穿刺針,中心静脈カテーテル,ガイドワイヤー,血液培養ボトルオレンジと青の6種類を学習させた.学習にはYolov3を採用している.学習データは各医療機器を模擬環境下で配置,使用を再現した映像から抽出した画像であり,前処理として,学習データに正解位置の情報を付加する.基本的に医療機器全体を学習させるが,全体を含めると特徴量が多い医療機器は部分的な学習を行う.このモデルを用いた医療機器認識から医療行為を特定,その注意喚起情報を表示する.医療従事者が装着したスマートグラスを用いて,自動的に撮影した画像をサーバに送信し,サーバ内で医療機器を認識.認識された医療機器から医療行為を特定,医療行為名をアプリに送信し,スマートグラスにその医療行為の注意喚起情報を表示する.【結果】認識精度は,骨髄穿刺66%,腰椎穿刺針96%,中心静脈カテーテル75%,ガイドワイヤー68%,血液培養ボトルオレンジ69%,血液培養ボトル青62%となった.モデルの精度は72.61%となった.【考察】特徴的な部分の学習により認識精度が高くなる一方で,手に保持し医療機器が隠れることで認識精度が下がること,形や色が似ている医療機器では誤認識が多くなることが考えられる.最終原稿では,医療行為の特定手法の評価から実用化に向けた考察も行う.