[4Xin2-57] DanStoデータセットを用いた大規模言語モデルの否定理解の性能評価
キーワード：自然言語処理、大規模言語モデル、否定理解
本研究は大規模言語モデルの性能調査に向けて，日本語のストーリーデータセットを活用した大規模言語モデルの性能評価を行う．そのために我々が開発したDanStoデータセットを用いる．DanStoデータセットは5文のストーリーを含む約9,000セットからなるデータセットである．結末文の否定と肯定を入れ替え，新たな結末文を作成するなどして，大規模言語モデルが正しい結末文を選択できるかという実験等を行った．本実験の結果，現在の大規模言語モデルの一部は日本語で書かれたストーリーの否定理解が困難であることがわかった．今後の課題として，ストーリー理解のための因果関係に関する実験及び生成モデルを用いたDanStoデータセットの自動拡張が挙げられる．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。