[3Xin2] ポスターセッション1

[3Xin2-26] 大小の言語モデルに基づく双方向な表現獲得

〇五藤 巧^1,2、長尾 浩良¹、是枝 祐太¹ (1.株式会社日立製作所　研究開発グループ、2.奈良先端科学技術大学院大学)

キーワード：自然言語処理、大規模言語モデル、固有表現認識

本研究では，大規模言語モデルの単方向性が古典的NLPタスクに適用するときに問題となることを指摘する．その解決策として，新たに小規模な逆方向言語モデルを学習し，その表現を連結した表現を後段タスクに用いる方法を提案する．固有表現認識を対象とした実験において，提案法によりベンチマークにおける性能が10ポイント以上向上することを確認した．さらに，提案法は学習事例が少数である場合や，ドメインが希少な場合においても有効であることを確認した．