[4D4-OS-4c] Affective Computing(3/3)

[4D4-OS-4c-02] 人の感情を反映したマルチモーダル対話システムモデルの提案

〇覚井 悠生¹、蛭田 興明¹、須賀 聖¹、川野 陽慈¹、高屋 英知¹、加藤 慶彦¹、栗原 聡² (1. 慶應義塾大学大学院理工学研究科、2. 慶應義塾大学理工学部)

キーワード：Affective Computing、対話システム、マルチモーダルインタフェース

対話システムが人間のように対話できない原因の一つとしてインタラクションにおいて人の感情を反映できていないことが挙げられる．
そこで，本研究では人の感情を反映させたシステムの構築を目的として表情，声のトーン，発話内容のマルチモーダルな感情値を入力としてインタラクションを行う対話システムモデルを構築する．
提案手法は，マルチモーダルの感情値を入力として，XGBoostによって学習してモデルを構築する．発話によって得られたマルチモーダルの感情値をモデルに入力して状況にあった表情の絵文字を表示してシステムは発話する．
比較対象を用意し実験を行った．評価として，アンケートを行なった結果，提案モデルが最も状況にあった表情を表示していることが示された．このことから多くのモーダルを入力とした方が，対話における適切な表情を決定できることが確認できた．