[3D5-OS-20b] インタラクションとAI

[3D5-OS-20b-03] マルチモーダル情報を用いたNeurodiverseなグループ会話における文脈逸脱行動の検出

〇戸田 陽春¹、坂戸 達陽¹、曽 傑¹、二瓶 芙巳雄²、高山 千尋²、石井 亮²、辻井 正次³、中野 有紀子¹ (1. 成蹊大学　理工学部、2. 日本電信電話株式会社　人間情報研究所、3. 中京大学)

キーワード：マルチモーダルインタラクション、自閉スペクトラム症、グループ会話

本研究では，ASD者と定型発達者とのグループ会話を分析し，両者間のコミュニケーションに問題が生じていることを自動的に検出する機械学習モデルを提案する．そのために，ASD者を含む3人のグループ会話コーパスを学習データとし，文脈から逸脱している行動であるか否かを識別する，深層学習による二値分類モデルを構築した．言語，音声，顔情報を用いてマルチモーダルのモデルを作成したところ，文脈逸脱行動を検出するモデルの性能は，F1-scoreで0.65であった．