[4I4-GS-7e] 画像音声メディア処理：応用

[4I4-GS-7e-03] 動画キーフレーム物語生成タスクの提案とデータセットの構築

〇北山 晃太郎¹、鈴木 潤^1,2、清水 伸幸³ (1. 東北大学、2. 理化学研究所、3. ヤフー株式会社)

キーワード：画像処理、言語処理

動画の自動要約は，開発者やエンドユーザーが動画の内容を確認するためのコストを軽減するための重要な技術の一つである．また，非常に多くの消費者が生成した動画の中から必要な動画のみを取得するための動画検索の手がかりとしても機能する．本論文では，特に動画の要約タスク（動画キーフレーム物語生成と呼ぶ）に焦点を当てている．このタスクでは，あらかじめ定義された数のキーフレームを抽出すると同時に，抽出された一連のキーフレームの説明文を生成することが要求される．最初に，この新しいタスクの定義を紹介する．また，人間が注釈を付けたキーフレームや説明文と比較して，キーフレームのマッチングと説明文の品質の両方の観点から，タスクの性能を評価するための2つの適切な評価尺度を定義する．次に，動画キーフレーム物語生成タスクの訓練と評価のために構築されたデータセットを紹介する．