[2G6-ES-3] Agents: Conversation and game

[2G6-ES-3-03] エージェントとのインタラクションの過程におけるマルチモーダル学習に基づくQOL推定

〇中川 聡¹、米倉 将吾¹、金沢 星慶¹、西川 鋭¹、國吉 康夫¹ (1. 東京大学)

キーワード：human agent interaction、マルチモーダル学習、quality of life、高齢者福祉

高齢者見守りシステムやコミュニケーションロボットが人とインタラクションを行う際には，ユーザの状態推定および状態理解に基づく行動生成が重要である．高齢者福祉の現場において生活の質（QOL）は人の状態を総括的に扱った重要な指標である．本研究では，対話エージェントとのインタラクションの過程において，表情・頭の揺動・視線を統合してQOL推定手法を提案する．そこで対話エージェントを実装し，それを用いた対人実験を通して収集した情報に基づくデータベースを構築した．さらに，それらを入力とする，3次元畳み込みであるC3Dを組み込んだマルチモーダル学習推定器を実装した．表情はQOL推定に有効であることが示されたが，更なる推定性能の向上を目的として，頭部揺動や視線の特徴抽出による学習について検証した．その結果，表情・頭部揺動・視線の全てを統合したマルチモーダル学習が，各特徴量を個別に用いたシングルモーダル学習に比べて誤差を抑えて推定することを実現させた．実験結果から，提案システムがQOL推定器として十分活用可能であることを結論づけたと同時に，マルチモーダル学習のシングルモーダル学習に対する優位性も示された．