[3Xin2] ポスターセッション1

[3Xin2-12] 記号と分散表現の統合のための記憶に制約を課したRNNの次単語予測による事前学習

〇小川 麻美¹、狩野 芳伸¹ (1.静岡大学)

キーワード：自然言語処理、記号、回帰型ニューラルネットワーク

本研究では，モデルの計算を人間の処理に近づけることと説明可能性の向上を目指し，逐次処理を行うLSTMにおける記憶セルで記号表現を扱う構造として、LSTM-Symbolicモデルを提案する．分散表現と記号表現の変換はEmbedding層の重みをそのまま利用した．記憶理想ベクトルを導入し，逆伝播時の計算を独自に定めた．また、2層のLSTM言語モデルとLSTM内での記憶の記号化によって，記憶の制限付き文脈自由文法を仮定したモデルを作成した．このモデルを次単語予測により学習させ生成された構文の妥当性を評価し、記憶の記号化による効果を調べたところ，同じ層数でも入力層側に記号化の構造を持つモデルは有意な差でほかのモデルの評価を下回った．また，提案モデルは文頭の扱いという局所的に望ましい生成例が見られた．提案モデルの方が重みのパラメータ数が少ないにもかかわらず，ベースラインと同等の性能を達成したことは、より構文処理に本質的な構造を捉えられたことを示唆している．