JSAI2019

Presentation information

Interactive Session

[3Rin2] Interactive Session 1

Thu. Jun 6, 2019 10:30 AM - 12:10 PM Room R (Center area of 1F Exhibition hall)

10:30 AM - 12:10 PM

[3Rin2-12] Predicting Laughters in Comedy Drama with Subtitles and Facial Expression

〇Yuta Kayatani1, Mayu Otani2, Chenhui Chu3, Yuta Nakashima3, Haruo Takemura1 (1. Graduate School of Information Science and Technology, Osaka University, 2. CyberAgent, Inc., 3. Institute for Datability Science, Osaka University)

Keywords:Natural Language Processing, Image, Machine Learning

笑いは,コミュニケーションにおいて非常に重要な役割を持ち,その笑いを引き起こすジョークはプレゼンテーションにおいて,聴講者の関心を引き,また,普段の会話においても会話を盛り上げ,人々をなごませることができる.現在,笑いの予測に向けた研究が進められているが,それらは,発話内容(字幕)のみを考慮しており,笑いを引き起こすことに重要とされる視覚情報については全く考慮されていない.そこで,本研究では,字幕だけでなく登場人物の表情であるAction Unitを用いた笑いの予測を行い,視覚情報である表情が笑い予測において重要であることを示す.結果として,字幕のみ・表情のみで笑いを予測した時と比較して字幕 + 表情を組み合わせた時,最も高い精度を得ることができ,笑い予測において表情の組み合わせは有効であると結論付けられる.