[4L3-OS-38] ヒューマン・イン・ザ・ループAI

[4L3-OS-38-03] 養育者に無理なく頼るモデル構築：重症児感情状態推定のための人間参加型学習および視覚言語モデルの活用

望田 康太¹、中野 鐵兵¹、若林 麻里²、佐藤 朝美²、〇小川 哲司¹ (1. 早稲田大学、2. 横浜市立大学)

キーワード：Human-in-the-Loop機械学習、視覚言語モデル、重症心身障害児、医療・看護支援

重症心身障害児（重症児）の感情状態推定モデルを効率的に構築する手法を検討した．重症児が表出する感情状態，およびその表出方法は子供ごとに異なるため，養育者でなければそれらを理解することは難しい．そのため，コミュニケーション支援として感情状態を推定する技術が望まれているものの，モデル構築のためのアノテーションは養育者に頼らざるを得ず，その負担が課題となる．それに対し本研究では，養育者の関与を知識提供と最低限の検証のみに限定しつつモデルを構築する枠組み，Parents-in-the-Loop Learning（PITL）を提案した．また，GPT-4Vによるアノテーションに基づくモデル構築手法を設計し，視覚言語モデルがPITLにおける人的介入を削減する手段として利用可能かを調査した．重症児一名を対象とした感情状態推定実験の結果，PITLにより構築されたモデルが精密なラベルに基づくモデルと比べてほとんど劣らない性能を達成し，その有効性が実証された．さらに，複数の正解例を与える方法であれば，GPT-4Vが重症児感情状態推定モデル構築に利用できる可能性が示された．