[4Xin2] ポスターセッション2

[4Xin2-57] DanStoデータセットを用いた大規模言語モデルの否定理解の性能評価

阿部 有紗¹、〇ジェプカ ラファウ²、荒木 健治² (1.北海道大学 大学院情報科学院、2.北海道大学 大学院情報科学研究院)

キーワード：自然言語処理、大規模言語モデル、否定理解

本研究は大規模言語モデルの性能調査に向けて，日本語のストーリーデータセットを活用した大規模言語モデルの性能評価を行う．そのために我々が開発したDanStoデータセットを用いる．DanStoデータセットは5文のストーリーを含む約9,000セットからなるデータセットである．結末文の否定と肯定を入れ替え，新たな結末文を作成するなどして，大規模言語モデルが正しい結末文を選択できるかという実験等を行った．本実験の結果，現在の大規模言語モデルの一部は日本語で書かれたストーリーの否定理解が困難であることがわかった．今後の課題として，ストーリー理解のための因果関係に関する実験及び生成モデルを用いたDanStoデータセットの自動拡張が挙げられる．