[1O3-GS-7] 画像音声メディア処理

[1O3-GS-7-01] 野球中継における画像認識を用いた解説自動付与

〇島野 雄貴¹、桒野 裕也¹、高橋 正樹¹、宮崎 勝¹、佐野 雅規¹、今井 篤²、都木 徹² (1. NHK放送技術研究所、2. NHKエンジニアリングシステム)

キーワード：画像認識、解説自動付与、メディアアクセシビリティー

本報告では，野球中継の解説音声を自動付与する仕組みについて述べる．解説音声（主音声では伝えていない番組の情報を補足するもの）は視覚に障害を持つ方々がより番組を理解するために必要不可欠なサービスである．あらゆる番組に対して解説音声を付与することが期待される一方，生放送であるスポーツ中継への解説音声の付与が望まれている．しかし，人的コスト，リアルタイムで実施することの困難さの観点から，サービスとして提供できていないのが現状である．この課題に対処するため，これまでに解説音声配信システムを開発したが，人間がオペレーションすることによる処理速度の限界が課題として残っていた．
そこで，本研究では野球中継映像から画像認識により解説に必要な情報（球速，ボールカウント，打順）を抽出し，その情報をもとに解説テキストを既存システムに対して自動付与し，自動送出する仕組みを提案する．実験の結果，人間がオペレーションするよりも安定かつ高速に解説音声を提供可能であることが分かった．