医療現場では患者の見回りは大切な業務であるが、人手不足の現場では見回りが大きな負担にもなっている。また、自身の状態によっては声がけや適切なケアを受けることは非常にありがたいと考えられ、看護サービスをより最適に提供してもらいたいという要望がある。これらの問題に対しては、これまで映像による監視等が考えられてきたが、患者のプライバシーの問題やそもそもの映像のチェックを誰が行うのか、という問題があり、主に重症患者に利用されているのみである。 一方で、モーションキャプチャ等の技術が発展し、3次元のキーポイント推定によるヒトの姿勢、表情等を抽出することが可能になりつつある。これらの技術を用いれば、患者のプライバシーを守りつつ、病床上の状態を把握できる可能性がある。 よって本研究では、モーションキャプチャ技術を用いて患者の状態把握を行うことを試みる。具体的な方法としては、研究室内に設置した模擬ベッドにおいてベッド上にカメラを設置し、患者の状態を取得する環境を構築する。次に、ベッド上の模擬患者の状態を映像データとして取得し、モーションキャプチャライブラリのひとつであるMediaPipeを用いて全身の関節位置、および表情のデータを３次元のキーポイントとして取得する。一方で、せん妄状態等を模した動きについて、これらの３次元の位置情報について取得し、教師データとする。その上で、深層学習を用いてこれらの位置情報を利用した判別器を構築する。 結果は、MediaPipeは他のモーションキャプチャライブラリとは異なり、全身の関節が取得できない状態でも、把握できる関節の位置情報については取得可能であったが、体幹の基準点の取得については精度の悪化が認められた。表情についてはカメラと顔の位置関係に判別性能が大きく依存するが、これらの方法によって患者の状態を把握できる可能性が示唆された。