[4F2-OS-25a] Affective Computing (1)

[4F2-OS-25a-03] マルチモーダル感情喚起推定とASMR動画解析への応用

于 楊¹、〇日永田 智絵²、堀井 隆斗^3,4、長井 隆行^3,1 (1. 電気通信大学、2. 奈良先端科学技術大学院大学、3. 大阪大学、4. 東京大学 国際高等研究所ニューロインテリジェンス国際研究機構)

キーワード：感情喚起推定、マルチモーダル、深層学習、ASMR

近年，スマートフォンやタブレットなどデジタル端末の発展により，ユーザーが視聴できる動画は膨大な量に達している．こうした中で，消費者のニーズに対応するパーソナライズされたビデオコンテンツの分類，検索および配信は依然として解決すべき課題である．一般に，人間は情緒的特性に基づいて映画や音楽を選ぶ傾向がある．従って，感情喚起を分析することで，この課題に対して一つの指針が得られる可能性がある．動画によって喚起される感情は，オーディオとビデオの両方のモダリティに関係している．そこで本研究では，マルチモーダル情報の統合によって動画による感情喚起を推定する深層学習モデルを提案する．映画データベースを用いた実験により，マルチモーダル情報を統合したことによる推定性能の変化について検証し，従来手法に比べ推定精度が向上することを示す．また最近話題となっているAutonomous Sensory Meridian Response (ASMR) 動画を解析し，感情喚起と閲覧回数，高・低評価数など視聴者の行動との関係性を検証する．