[1P1-GS-10] AI応用：一般

[1P1-GS-10-04] マルチモーダルなマイクロ行動分析に基づく複数人会議の定量化

〇陳 辰昊¹、徳原 耕亮¹、荒川 豊¹、渡辺 洸²、石丸 翔也² (1. 九州大学、2. University of Kaiserslautern & DFKI GmbH)

[[オンライン]]

キーワード：オンラインミーティング数値化、マルチモーダル、話者識別

本研究では、オンライン会議の定量評価に着目し、ミーティング中よく発生する三つのマイクロ行動「発話」、「頷き」、「笑顔」を正確に検出し、エンドツーエンドのオンライン会議定量化システムを提案する。話者認識（ASD）システムでは、音声と映像の時系列情報を抽出するエンコーダ、cross-attentionによるモーダル情報インタラクションモジュール、および長期的な発話特徴を捉えるためのself-attentionモジュールが含まれてる。頷き検出のため、頭部姿勢推定（HPE）の研究で提案されたWHENetモデルに基づいて、頭部のピッチ方向を入力特徴として、GRUによる頷き認識システムを構築する。笑顔検出はHaarカスケード分類器を用いる。K-分割交差検証法によって提案手法を評価した結果、各モジュールのF値はそれぞれ94.9%、79.67%、71.19%であった。