[2I5-OS-9a] Affective Computing(1/2)

[2I5-OS-9a-03] 双曲空間への埋め込みと感情認識・潜在表現単一化タスクによる感情のクロスモーダル表現

〇原田 誠一¹、佐久間 拓人¹、加藤 昇平^1,2 (1. 名古屋工業大学　大学院工学研究科　工学専攻、2. 名古屋工業大学　情報科学フロンティア研究院)

キーワード：Affective Computing、クロスモーダル、感情認識、表現学習、感情空間

本研究では，人間が相手の音声や顔表情から共通の感情を認識することに着目し，モダリティに共通した感情の数理的表現（感情空間）の獲得を目指す．マルチモーダルなDNNを用いた感情認識からのアプローチにより，感情を非ユークリッド空間で表現する手法を比較する．
提案モデルは，双曲空間モデルであるKleinモデルに基づく潜在空間に埋め込まれた各モダリティ毎の感情空間を融合し，感情認識タスクと潜在空間の単一化タスクの複合により同モデルを訓練する．
音声と顔画像を用いた実験により，モダリティを擬似的に欠損させた場合の感情認識の頑健性を評価し，提案手法によりモダリティに共通した感情空間が低次元の双曲空間で得られることを確認する．
加えて，提案モデルと人間の評定者との感情認識の誤り傾向を比較し，感情クラス間の意味的類似性を評価することで，同モデルによる感情空間の表現力を考察する．
そして，先行研究で検討したユークリッド空間や半超球面上での表現と双曲空間での表現を，心理学で広く受け入れられているモデルと比較し，人間の感情の意味的関係性を表現することの妥当性について評価する．