[3Yin2] インタラクティブセッション1

[3Yin2-51] 木構造Transformerを用いた教師あり統語構造解析

〇成田 百花¹、谷口 巴¹、持橋 大地²、小林 一郎¹ (1.お茶の水女子大学、2.統計数理研究所)

キーワード：Transformer、統語構造、Tree-Transformer

Transformerのattention機構を利用することにより、入力文の統語構造を発見する教師なし学習手法Tree-Transformerが存在する。一方で統語構造については、PennTreeBankなど良質な教師データが存在している。このようなデータを用いて、Tree-Transformerに教師あり学習を適用し、文の統語構造解析を行う手法を提案する。
また、本研究ではTransformerのエンコーダの中間層に直接適用する階層的誤差逆伝播法を新たに提案し、ニューラルネットワークの枠組みで統語構造解析を実現する。
実験により、提案手法が統語構造解析に有用であることを確認した。