[4E2-OS-19a] グループインタラクションとAI (1)

[4E2-OS-19a-05] 音声・表情の非言語シグナルに基づく多人数遠隔コミュニケーション支援方法

田口 和佳奈¹、〇中野 有紀子¹、二瓶 芙巳雄¹、深澤 伸一²、赤津 裕子² (1. 成蹊大学、2. 沖電気工業株式会社)

キーワード：コミュニケーション支援、デフォルメーション、マルチモーダル

テレビ会議やWeb会議システムが普及し，遠隔コミュニケーションを行う機会は増加している．合意を得ることが難しい交渉や，会話が停滞してしまった時など，肯定的な感情が出現しにくい状況でも，会話のムードを改善したい場合がある．そこで，肯定的な感情の表出を支援するシステムが有効であると考える．本研究では①音声と顔映像をデフォルメーションすることにより，肯定的な感情を人工的に表出することが，効果的なコミュニケーション支援になることを明らかにし，②これをシステム化するために，機械学習を用いて顔映像と音声からデフォルメーションを適用するタイミングの予測を行った．その結果，約70％の精度で，コミュニケーション支援をすべきタイミングを予測できるモデルを作成することができた．また，ユニモーダルモデルよりも，顔映像と音声の両方を使用したマルチモーダルモデルの方が良い性能であった．③さらに，作成したモデルを実装し，予想された支援タイミングの可視化を行った．