[1E5-GS-9] 自然言語処理・情報検索: 推定と分析

[1E5-GS-9-03] 質問なし読解事例に対するBERTの回答可能性に着目した機械読解難易度分析

〇李 宏宇¹、陳 騰揚¹、宇津呂 武仁¹、河田 容英² (1. 筑波大学、2. ログワークス)

キーワード：質問応答、機械読解、回答可能、BERT、難易度

本論文では，機械読解データセットSQuAD1.1およびBERTによる機械読解モデルを対象として，質問応答事例を難易度別に「回答容易」・「回答困難」の二つのクラスに分類する手順を示し，このクラス分類法の有用性について論じる．具体的には，本論文では，機械読解タスクに対してfine-tuning済みのBERT機械読解モデルに対して，コンテキストのみを与え，質問を与えない場合においても回答を正答できる事例を「回答容易」クラスとするアプローチを提案する．この方法をSQuAD1.1訓練事例約85,000事例に対する10分割交差検定において適用することにより，「回答容易」クラス約12,500事例と「回答困難」クラス約75,000事例に分割した．さらに，「回答容易」クラス約12,500事例を訓練事例として訓練したBERT機械読解モデルの性能が，同数の「回答困難」クラス事例を訓練事例として訓練したBERT機械読解モデルの性能を下回ることを示す．