[3A1-GS-6] 言語メディア処理

[3A1-GS-6-02] 木構造自己注意機構により潜在的構文木を表現する教師あり統語構造解析

〇成田 百花¹、持橋 大地²、小林 一郎¹ (1. お茶の水女子大学、2. 統計数理研究所)

キーワード：統語構造解析、自己注意機構

本論文では、入力文の統語構造を反映するためにTransformer のエンコーダの自己注意機構に制約を加えた木構造自己注意機構を採用した提案モデルを、従来のF1スコアによる評価手法ではなく、統語構造解析結果の構文エラーを解析することによって評価を行った。エラー解析を行った結果、生成規則に着目して句や節同士の依存関係を捉えることが精度の向上のために必要であることがわかった。また、従来の提案モデルでは、エンコーダのパラメータをランダムに設定していた。そこでさらに精度を向上させるため、BERTのMasked Language Modelingを用いてエンコーダの事前学習を行う追加実験を行ったが、有効な結果を得ることは出来なかった。