手術は患者への侵襲性が高く、施術中のヒューマンエラーは予期せぬ事故に直結する。安全性向上のためには、手術チームの行動からヒューマンエラーの原因を解明する必要がある。従来手法として、術後にアンケートで手術チームから情報を収集する方法はあるが、収集できる情報は属人的なものに限定されており、正確性は個人の主観や記憶力に左右されるため客観的ではない。一方で、深層学習の発展により画像情報から骨格が推定できるようになり、構造化データとして捉えることができるようになった。そこでポーズ推定を用いて、複数の個人が関与するグループ行動を客観的に捉えることによって、ヒューマンエラーの原因の解明に繋がる可能性がある。
本研究では術中状況を明らかにするための新たな方法として、 手術チーム全体を捉えた監視カメラ映像を活用し、複数の個人が関与するグループ行動を抽出し定量化する手法を提案する。具体的には、手術スタッフ間の手術器具の受け渡し動作と、複数のメンバーの注意が引き付けられる状況のグループアテンションに着目して抽出を試みる。
提案手法として、監視カメラ映像を入力にポーズ推定を適用し、個人の位置、顔の向き、体の向き、腕の曲げ具合、手首の位置などの情報から個人の行動をモデル化する。その後、個人の行動とIDを組み合わせて推定モデルに入力し、 グループ行動の尤度を推定する。代表的な行動を抽出することで、冗長な手術映像から複数のメンバーが協力して作業している重要なポイントを効率的に特定することができる。
提案手法を実際の手術映像に適用し、解析結果から手術技師3名に対してインタビューし有効性を検討した。経験の浅い医療スタッフが手術動作の正しい動きを効率的に理解するのに役立つ、インシデントが発生時にグループ行動を追跡し可視化することで人手不足の確認に役立つ、などの意見から提案手法の有効性が示唆された。