[4Q2-GS-9] 自然言語処理・情報検索: 質問応答システム

[4Q2-GS-9-02] ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析

〇赤間 怜奈^1,2、横井 祥^1,2、鈴木 潤^1,2、乾 健太郎^1,2 (1. 東北大学、2. 理化学研究所)

キーワード：自然言語処理、対話応答生成

深層ニューラルネットワーク技術を用いた文生成（機械翻訳，自動要約，対話応答生成など）の研究領域では，訓練データの高品質化によりモデルの性能向上を図るアプローチが脚光を浴びている．
本研究では，ニューラル対話応答生成モデルの性能向上に向けて，訓練データ中の低品質な発話--応答ペアを検知するスコア関数を提案する．具体的には，「典型的な句の呼応関係の有無」と「話題の一貫性」のふたつの観点に着目し，連続する2発話について「対話（発話--応答ペア）としての許容度」をスコアとして算出する．提案法は特定の教師データを必要とせず，言語やドメインなどのデータの特性に依存しないため，理論上任意の対話データに適用できる．
実験では言語および規模の異なる複数対話データに提案法を適用し，提案スコアが人間の主観と相関を持つことを示す．さらに，提案スコアによる訓練データフィルタリングが応答生成モデルの性能向上に有効であることを自動評価および人手評価により示す．「典型的な句の呼応関係の有無」と「話題の一貫性」の各モデルの経験的な性能を確認・分析し，知見を報告する．