[3D5-OS-20b] OS-20

[3D5-OS-20b-03] Detecting Contextually Inappropriate Communicative Behaviors in Neurodiverse Group Conversations using Multimodal Information

〇Hiyori Toda¹, Tatsuya Sakato¹, Jie Zeng¹, Fumio Nihei², Chihiro Takayama², Ryo Ishii², Masatsugu Tsujii³, Yukiko Nakano¹ (1. Seikei University, 2. Nippon Telegraph and Telephone Corporation Human Informatics Laboratories, 3. Chukyo University)

Keywords: Multimodal interaction, ASD, Group discussion

本研究では，ASD者と定型発達者とのグループ会話を分析し，両者間のコミュニケーションに問題が生じていることを自動的に検出する機械学習モデルを提案する．そのために，ASD者を含む3人のグループ会話コーパスを学習データとし，文脈から逸脱している行動であるか否かを識別する，深層学習による二値分類モデルを構築した．言語，音声，顔情報を用いてマルチモーダルのモデルを作成したところ，文脈逸脱行動を検出するモデルの性能は，F1-scoreで0.65であった．