[3H3-OS-12a] グループインタラクションとAI(1/2)

[3H3-OS-12a-05] 非言語機能特徴に基づく対話者の主観的印象の予測・説明モデルの構築

対話者の印象は，どの時点のどのような行動により影響を受けたか？

〇大土 隼平¹、三好 一輝¹、石井 陽子²、石井 亮²、永徳 真一郎²、大塚 和弘¹ (1. 横浜国立大学、2. 日本電信電話株式会社)

キーワード：非言語行動、社会的信号処理、複数人対話、深層学習、説明可能AI

複数人対話において，対話者の非言語行動から主観的印象を予測・説明する枠組みを提案する．印象として，雰囲気の良さや楽しさ等を対象とし，印象がいつどのような行動により影響を受けたかという，印象形成に関与した行動とその時点を説明する問題に取り組む．そのため頭部運動がもつ機能を特徴量とした印象予測モデルを構築し，予測に貢献した特徴量集合を求めることで行動を特定し，これら特徴量の貢献の度合いの時間分布を推定することで，そのタイミングを求めるという定式化を行う．前段では，畳み込みニューラルネットにより検出された頭部運動機能を特徴量としたランダムフォレスト回帰モデルを用いる．また，説明可能AIの一技法であるSHAP分析により特徴量の貢献度（SHAP値）を求める．後段では，各頭部運動機能の生起確率の時間分布を核密度推定法により推定し，それら分布とSHAP値より，印象形成への貢献度の時間分布を求める．対話者の印象は，予測に寄与した行動が頻繁に出現した時点により影響されたと考え，貢献度分布の極大時刻としてタイミングを特定する．女性4人，計17グループの対話に対する分析例を示し，提案法の有効性を議論する．