[1E3-GS-6] 言語メディア処理

[1E3-GS-6-05] 事前学習済み言語モデルによる専門知識抽出の検討

〇浅野 聖也¹、磯沼 大^1,2、浅谷 公威¹、野村 美鈴³、森 純一郎^1,4、坂田 一郎¹ (1. 東京大学、2. エディンバラ大学、3. ダイキン工業株式会社、4. 理研AIP)

キーワード：事前学習済み言語モデル、知識抽出

近年,言語モデルを知識ベースの代わりに使用することを目的とした研究が多く行われている.言語モデルは構造化された知識ベースと比較して,多くの利点がある.例えば,人手による情報の属性や関係の定義が必要なく,より柔軟かつ効率的に多くのデータを検索することができる.しかし,その性能は発展途上であり,また複合名詞の予測ができないなど,実用段階に至るまでには多くのハードルを残している.本研究では,特に化学に関する専門的な複合名詞の知識に焦点を当て,特定の領域の知識をどの程度正確に抽出することができるか調査を行なった.具体的には,T5を生医学分野の論文で追加学習したSciFiveを利用し,さらにScopusに含まれる抄録データで追加学習を行うことで,化学に関する専門知識の抽出精度向上を図った.追加学習に用いたデータ量によってどのように精度が変化するかを確認した結果,少ない学習データでは精度が低下した一方で、比較的多い学習データでは精度の向上が見られた.以上の結果は,言語モデルから知識を抽出する試みのさらなる可能性を示している.