[3Rin2] インタラクティブセッション１

[3Rin2-12] コメディドラマにおける字幕と表情を用いた笑い予測

〇萓谷 勇太¹、大谷 まゆ²、Chu Chenhui³、中島 悠太³、竹村 治雄¹ (1. 大阪大学 大学院 情報科学研究科、2. 株式会社サイバーエージェント、3. 大阪大学 データビリティフロンティア機構)

キーワード：自然言語処理、画像、機械学習

笑いは，コミュニケーションにおいて非常に重要な役割を持ち，その笑いを引き起こすジョークはプレゼンテーションにおいて，聴講者の関心を引き，また，普段の会話においても会話を盛り上げ，人々をなごませることができる．現在，笑いの予測に向けた研究が進められているが，それらは，発話内容（字幕）のみを考慮しており，笑いを引き起こすことに重要とされる視覚情報については全く考慮されていない．そこで，本研究では，字幕だけでなく登場人物の表情であるAction Unitを用いた笑いの予測を行い，視覚情報である表情が笑い予測において重要であることを示す．結果として，字幕のみ・表情のみで笑いを予測した時と比較して字幕 + 表情を組み合わせた時，最も高い精度を得ることができ，笑い予測において表情の組み合わせは有効であると結論付けられる．