一般社団法人 日本医療情報学会

[3-G-5-02] 学習者がピクチャ・イン・ピクチャを操作できる360度医療ライブ配信システムの開発

*富松 俊太1、工藤 孔梨子2、蓑田 洋介2 (1. 九州大学大学院芸術工学研究院, 2. 九州大学病院)

360-degree camera, medical live demonstration, head-mounted display

【目的】ヘッドマウントディスプレイ(HMD)を使用したクロスリアリティ(XR)技術は、教育分野においては個別のニーズに対応した学習体験を提供するプラットフォームが不足している。医療教育のコンテンツのひとつである医療ライブ配信においても、既存のXR配信プラットフォームでは学習者にとって最適な映像レイアウトを作ることが難しい。そこで本研究では医療ライブ配信にて学習者のユーザビリティを向上させるXRシステムを開発した。【方法】システムの配信側では全天球カメラと医療映像をピクチャ・イン・ピクチャ(PinP)で合成することで、スタッフの動線や機器配置といった部屋全体の様子と、進行している手術や検査の経過を視聴できる設計とした。受信側のHMDではWebブラウザを使って視聴でき、かつ学習者によるコントローラー操作によってリアルタイムに最適なレイアウトを設定できるものとした。開発したシステムのパフォーマンス評価として、胃粘膜モデルを使った内視鏡的粘膜下層剥離術(ESD)トレーニングを対象とした実装デモンストレーションを行った。【結果】開発したシステムは、全天球カメラによる内視鏡室を背景にPinPとして内視鏡映像の表示を配信し、またHMDでの受信画面では360°映像の表示およびPinPの移動と拡大縮小を実現した。実装デモンストレーションでのパフォーマンスは、解像度1920×960、フレームレート29〜30fpsであった。【考察・結論】高品質な複数の映像ソースを同時に配信するという医療ライブ配信の技術要件を満たし、さらに受信端末からのレイアウト操作を可能としたことで、「見たいものを見る」という観点で学習者にとって自由度の高いXR医療ライブ配信システムを試作することができた。今後は操作感や遅延などの双方向性や、映像品質について項目を整理しユーザー評価を行うなど、実用に向けた機能改修が必要である。【倫理的配慮】該当なし。