Japan Association for Medical Informatics

[2-F-3-05] モーションキャプチャによる表情推定を用いた患者感情データ表示システムの構築

*Miku Matsukawa1, Tadamasa Takemura1 (1. 兵庫県立大学 社会情報科学部)

Motion capture, Machine Learning, Face recognition

【目的】
看護師は患者情報を総合的にアセスメントし、必要な看護を的確に判断することが求められている。患者の状態変化については、バイタルなどのデータとともに、感情変化等もコミュニケーションや表情によって判断している。しかし、看護師の業務は多忙で常時患者の状態変化を把握することは困難である一方で、「入院生活における快・不快感情」の研究においては適切な看護介入が患者の不快感情の軽減に繋がることが示されており、患者の感情の変化を的確に捉えることは重要であるといえる。
一方で、モーションキャプチャ技術が発達し、RGBカメラを用いて顔の特徴点の座標データを捉えることが可能になりつつある。これらのデータを用いることができれば、顔の特徴点の変化から患者の感情を取得できる可能性がある。
よって本研究では、患者のモーションキャプチャ技術を用いた表情変化を取得した上で、これらの履歴を蓄積できるシステムの構築を試みる。
【方法】
まず、顔の表情のオープンデータおよびGoogleによって提供されているMediapipe/Blazeposeを用いて、顔の特徴点を取得する。その上で、これらのデータを教師データとして、顔の特徴点の座標による表情の判別器を構築し、実際の病棟環境を模倣した模擬患者によって表情を判別した上でこれらのデータを蓄積する。その上で、これらの表情の変化を閲覧できるシステムを構築する。
【結果】
判別した表情をデータベースに蓄積し、病床マップを模した画面上で表情アイコンで表示することが可能となった。
【考察】
これらのシステムを実際に病院に実装した場合について看護師の意見を聞いたところ、患者の状態変化に応じて訪室できる可能性がある反面、ネガテイブな表情にどれくらい対応すればいいのかなどの意見が得られた。今後は、蓄積された患者の感情の変化が看護の質向上に寄与できるのかについて引き続き検討する。