2024年度 人工知能学会全国大会(第38回)

講演情報

ポスターセッション

ポスターセッション » ポスターセッション

[4Xin2] ポスターセッション2

2024年5月31日(金) 12:00 〜 13:40 X会場 (イベントホール1)

[4Xin2-57] DanStoデータセットを用いた大規模言語モデルの否定理解の性能評価

阿部 有紗1、〇ジェプカ ラファウ2、荒木 健治2 (1.北海道大学 大学院情報科学院、2.北海道大学 大学院情報科学研究院)

キーワード:自然言語処理、大規模言語モデル、否定理解

本研究は大規模言語モデルの性能調査に向けて,日本語のストーリーデータセットを活用した大規模言語モデルの性能評価を行う.そのために我々が開発したDanStoデータセットを用いる.DanStoデータセットは5文のストーリーを含む約9,000セットからなるデータセットである.結末文の否定と肯定を入れ替え,新たな結末文を作成するなどして,大規模言語モデルが正しい結末文を選択できるかという実験等を行った.本実験の結果,現在の大規模言語モデルの一部は日本語で書かれたストーリーの否定理解が困難であることがわかった.今後の課題として,ストーリー理解のための因果関係に関する実験及び生成モデルを用いたDanStoデータセットの自動拡張が挙げられる.

講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。

パスワード