[3J4-GS-6c] 言語メディア処理：言語モデル

[3J4-GS-6c-03] BERTを用いた日本語係り受け解析の精度向上要因の分析

〇宇田川 忠朋¹、久保 大亮¹、松崎 拓也¹ (1. 東京理科大学)

キーワード：構文解析、ニューラル言語モデル、誤り分析

本論文では、日本語係り受け解析にBERTを用いることで、既存手法と比較してどういった誤りが改善されるのかを調べた。BERTは、文章を入力し、その中の各単語について文脈に依存した埋め込みベクトルを得る手法である。本論文ではBERTを用いる手法として、係り受け候補に対応するBERTの出力ベクトルを順伝播型ニューラルネットワークに入力する方法と、双線形関数に入力する方法の2つを従来法と比較する。実験を行ったところ、BERTを用いる手法はどちらも従来法の精度を上回った。この差を係り受けペアの品詞の組み合わせや文節間距離などの観点から分析し主な精度向上の要因を探った。