[3Q1-OS-19a] Affective Computing

[3Q1-OS-19a-05] マルチモーダル機械学習モデルに基づく就職活動面接訓練フィードバックシステム効果の分析

〇大庭 知也¹、黒木 春樹¹、マワリム ケンディ オリビア¹、岡田 将吾¹ (1. 北陸先端科学技術大学院大学)

キーワード：マルチモーダル、フィードバックシステム、機械学習、就職活動面接

我々は，VR体験型の人型エージェントシステムを構築し，就職面接対話データコーパスを収集した．
このデータコーパスには，第三者の専門家が採点した面接スキルのスコアと、被面接者が記入した自己効力感のアノテーションが，質問-回答ごとに含まれている．
また，音響・生体信号・視線・言語などの様々なマルチモーダルデータも含まれている．
本研究では，就職活動面接訓練を自動で行うためのフィードバックシステムを開発し，そのフィードバックの影響について分析を実施した．
フィードバックシステムには音響・言語特徴を利用した機械学習モデルを利用している．
対照群では，本を用いたフィードバックを実施した．
本と提案システムの効果を比較した結果，本と比較したときに，提案システムによるフィードバックが自身を過大評価する傾向のある群に対して，自信を抑制できる可能性が示唆された．