[3D5-OS-20b] OS-20

[3D5-OS-20b-02] Multimodal Multi-Party Models for Estimating Participant Roles in Group Discussions

〇Kazuki Kodaira¹, Tatsuya Sakato¹, Fumio Nihei², Ryo Ishii², Yukiko Nakano¹ (1. Seikei University, 2. Nippon Telegraph and Telephone Corporation Human Informatics Laboratories)

Keywords:Multimodal, Multi-Party, Role estimation

グループディスカッションでの各参加者の役割は，参加者相互のインタラクションによって移り変わっていく．そこで本研究では，発言者のみではなく，他参加者の特徴も使用して，グループディスカッションにおける各参加者の役割を発話ごとに推定することを目的とする．発話ごとに参加者全員の役割ラベルが付与された４人のオンライングループ会話コーパスを用い，現在の発話と過去5発話における言語，音声，顔の特徴量を入力とし，5種類の役割を分類するBiLSTMによる深層学習モデルを作成した． モデル性能の評価実験の結果，言語モダリティのみを用いたユニモーダルモデルではマクロF1値が0.42であったのに対し，作成したマルチモーダル・マルチパーティモデルでは0.46を達成した．