[3R1-OS-13b] インタラクションとAI

[3R1-OS-13b-04] 言語，表情，音声情報を用いた動機づけ面接における発話の分類

田中 智也¹、坂戸 達陽²、〇中野 有紀子² (1. 成蹊大学大学院理工学研究科、2. 成蹊大学)

キーワード：動機づけ面接、マルチモーダルインタラクション、分類

カウンセリング手法の一種に動機づけ面接(MI:Motivational Interviewing)がある．MIでは，クライアント自身の行動変容の理由を引き出すことを目的としている．本研究では，MIのカウンセラー(CO)の発話に注目した．MIではMotivatinal Interviewing Skill Code(MISC)というコーディングスキームが確立されている．使用するコーパスのカウンセラー発話をMISCでアノテーションした．さらにラベルをマージし，新たに11種類のラベルを作成し，11クラス分類問題を定義した．本研究では，大規模言語モデル(LLM)を用いた分類問題というアプローチを採用した．LLMは言語モデルであるため入力には言語を用いるのが一般である．本研究では表情と音声の情報をエンベディングし，得られたベクトルを言語情報とみなしLLMへの入力に使用する手法を提案する．さらに，BERTをマルチモーダル化しCOラベルの分類を行うモデルも提案する．実験の結果，要約を表すラベルについて先行研究と比較して約29%性能が向上することを示した．またアンバランスなデータが与える影響について議論した．