[3Yin2] インタラクティブセッション1

[3Yin2-31] 一般ドメイン動画実況生成

〇濵園 侑美^1,3、Marrese-Taylor Edison³、石垣 達也³、宮尾 祐介^2,3、小林 一郎^1,3、高村 大也³ (1.お茶の水女子大学、2.東京大学、3.産業技術総合研究所)

キーワード：自然言語処理、マルチモーダル

本論文では特定のドメインに依らない動画を入力し，その動画の実況を生成するタスクを扱う．
実況では，動画内のイベントについて実況者がリアルタイムに客観的な說明を加えたり，主観的なコメントを述べたりする．
このような実況を自動生成する研究は従来，スポーツ等の特定の分野を対象に行われており，分野に特化した情報を活用し生成する手法が一般的である．
本研究で扱う一般ドメインの動画に対する実況生成では，ドメイン固有の素性を用いることができず，難しい設定となる．
様々なドメインから収集した動画に対しクラウドソーシングを用い，実況を付与したデータセットをまず作成し，映像およびテキストを考慮する実況生成モデルを学習する．
実験より，映像および文脈テキストを考慮するマルチモーダルなTransformerが良い性能を示すことが分かった．