[3Rin2] Interactive Session 1

[3Rin2-12] Predicting Laughters in Comedy Drama with Subtitles and Facial Expression

〇Yuta Kayatani¹, Mayu Otani², Chenhui Chu³, Yuta Nakashima³, Haruo Takemura¹ (1. Graduate School of Information Science and Technology, Osaka University, 2. CyberAgent, Inc., 3. Institute for Datability Science, Osaka University)

Keywords:Natural Language Processing, Image, Machine Learning

笑いは，コミュニケーションにおいて非常に重要な役割を持ち，その笑いを引き起こすジョークはプレゼンテーションにおいて，聴講者の関心を引き，また，普段の会話においても会話を盛り上げ，人々をなごませることができる．現在，笑いの予測に向けた研究が進められているが，それらは，発話内容（字幕）のみを考慮しており，笑いを引き起こすことに重要とされる視覚情報については全く考慮されていない．そこで，本研究では，字幕だけでなく登場人物の表情であるAction Unitを用いた笑いの予測を行い，視覚情報である表情が笑い予測において重要であることを示す．結果として，字幕のみ・表情のみで笑いを予測した時と比較して字幕 + 表情を組み合わせた時，最も高い精度を得ることができ，笑い予測において表情の組み合わせは有効であると結論付けられる．