[3C2-OS-14b] [Organized Session] OS-14

[3C2-OS-14b-04] Predicting User’s Interest Level in Dialogues with Multimodal Features

〇Haruto Nishimoto¹, Kazunori Komatani¹ (1. The Institute of Science and Industrial Research (ISIR), Osaka University)

Keywords:dialogue analysis, multimodal

本研究では，ユーザの対話内容への興味の有無の推定を行うシステムの実現を目指す．推定により，システムはユーザの状態に応じた適応的な挙動が可能となる．ここで問題となるのが，推定に誤りがある場合である．その推定結果を対話に用いた場合，システムとユーザの対話が不自然になる可能性が高まる．
　そこで，対話情報，声の韻律情報，発話内容，顔画像情報といった複数の情報を用い，より正確な推定を目指す．興味の推定にはSVMを用いた．ユーザの複数の情報を統合して，推定性能の向上を図った．推定は，システムの発話開始から，次のシステムの発話開始までの区間を単位とした．
　10分割交差検証により推定結果についての実験を行った．一種類のユーザの情報のみを用いる場合，発話内容のみを用いた推定が最も性能が良いことがわかった．複数の情報を組み合わせることで推定性能の上限が向上することを確認した．この上限は，各情報により得られる推定結果から，推定性能が最も良くなるように人手で選んで算出した．これらを自動で統合する手法については，4つの情報の統合推定の性能の向上が今後の課題である．