[3L1-GS-10] AI応用：医療応用

[3L1-GS-10-05] 子宮鏡画像におけるドメインシフトに堅牢なマルチモーダル深層学習モデルの提案

〇柿山 宇徳¹、辺見 一成¹、宮田 康平²、井上 善仁³、鍋田 基生⁴、四元 房典²、柴田 千尋¹ (1. 法政大学、2. 福岡大学、3. 井上善レディースクリニック、4. つばきウイメンズクリニック)

キーワード：マルチモーダルモデル、ドメインシフト、解釈可能性、医療

近年，深層学習技術の発展に伴い，医療分野において診断補助等様々な対象に対して深層学習モデルが構築されている．子宮鏡検査においても深層学習を応用した画像診断の研究が行なわれており，高い分類精度が示されているが，学習用のデータセットとは異なる環境下（施設や計測機器など）で収集されたデータセットに対して検証を行っている研究は少なく，ドメインシフトに対して堅牢であるか定かではない．また，単一のモダリティから深層学習モデルの学習，予測が行われているため，モデルの解釈可能性が高いとは言えない．医療現場への導入においてこれらの問題は大きな障壁となり得る．本研究では，子宮内膜に持続的な炎症を伴う疾患である慢性子宮内膜炎に焦点を当て，子宮鏡画像とその画像から深層学習モデルを用いて病変部の予測を行い，更にその予測値から作成した説明文と元画像とのペアをマルチモーダル深層学習モデルに入力し分類を行う手法である，CLIP-MLPを提案する．実験結果から，画像のみから症状の有無を推論する場合と比べ，未知のデータセットに対する分類精度を向上させることができ，提案手法がドメインシフトに対して堅牢であることが示された．