[3Xin4] ポスターセッション1

[3Xin4-70] グラフ構造に対するEncoder-Decoder型言語モデル

〇上原 由衣¹、石垣 達也¹、宮尾 祐介^2,1、小林 一郎^3,1、高村 大也¹ (1.産業技術総合研究所、2.東京大学、3.お茶の水女子大学)

キーワード：事前学習言語モデル、グラフ構造、言語生成

グラフを入力として文章を生成するGraph-to-textのタスクは，入力が複雑な構造を持つことから挑戦的な課題とされてきたが，近年，T5やBART等Encoder-Decoder型の大規模事前学習言語モデルの利用が極めて有効であることが指摘されている．一方で，これらの事前学習言語モデルを利用してGraph-to-textのタスクを実行するためには，入力となるグラフを何らかの方法でテキスト列に変換する必要があるが，課題毎に個別に見出されたヒューリスティクスに依存しているのが現状である．そこで本研究では，グラフ構造を直接扱うエンコーダを備えたGraph-to-textのためのEncoder-Decoder型言語モデルを提案する．具体的には，text-to-text型言語モデルであるT5にグラフノード分類/回帰のための汎用的なTransfomer型エンコーダを組み合わせる．Graph-to-textのタスクを扱う既存のデータセットで提案モデルを評価し，提案モデルの利点と課題を考察する．また，大規模グラフデータから自動生成した擬似データセットを用いた追加事前学習の効果についても検証する．