[4L3-OS-38] OS-38

[4L3-OS-38-03] Building a Model with Minimal Parental Effort: Leveraging Human-in-the-Loop Learning and VLM for Emotional State Estimation in Children with PIMD

Kota Mochida¹, Teppei Nakano¹, Mari Wakabayashi², Tomomi Sato², 〇Tetsuji Ogawa¹ (1. Waseda University, 2. Yokohama City University)

Keywords:Human-in-the-Loop Machine Learning, Vision Language Models, Children with Profound Intellectual and Multiple Disabilities, Medical and Nursing Support

重症心身障害児（重症児）の感情状態推定モデルを効率的に構築する手法を検討した．重症児が表出する感情状態，およびその表出方法は子供ごとに異なるため，養育者でなければそれらを理解することは難しい．そのため，コミュニケーション支援として感情状態を推定する技術が望まれているものの，モデル構築のためのアノテーションは養育者に頼らざるを得ず，その負担が課題となる．それに対し本研究では，養育者の関与を知識提供と最低限の検証のみに限定しつつモデルを構築する枠組み，Parents-in-the-Loop Learning（PITL）を提案した．また，GPT-4Vによるアノテーションに基づくモデル構築手法を設計し，視覚言語モデルがPITLにおける人的介入を削減する手段として利用可能かを調査した．重症児一名を対象とした感情状態推定実験の結果，PITLにより構築されたモデルが精密なラベルに基づくモデルと比べてほとんど劣らない性能を達成し，その有効性が実証された．さらに，複数の正解例を与える方法であれば，GPT-4Vが重症児感情状態推定モデル構築に利用できる可能性が示された．