[3Win5] ポスターセッション3

[3Win5-12] JUBAKU: 日本文化における偏見評価のための敵対的ベンチマーク

〇塩谷 泰平¹、金子 正弘^2,1、丹羽 彩奈²、丸山 裕生¹、大葉 大輔¹、大井 聖也¹、岡崎 直観^1,3,4 (1.東京科学大学、2.MBZUAI、3.産業技術総合研究所、4.国立情報学研究所 大規模言語モデル研究開発センター)

キーワード：自然言語処理、大規模言語モデル、公平性

大規模言語モデル（LLM）に対する偏見評価において，非英語圏では英語データセットの翻訳に依存している現状がある．しかし，このような翻訳されたデータセットは西洋文化を基盤としており，異なる文化圏における倫理観や社会規範を十分に反映していない．本研究では，日本文化に対応した敵対的偏見評価ベンチマーク「JUBAKU」を構築し，LLMの偏見を誘発する対話データを人手で作成した．JUBAKUを用いて9種類の日本語LLMを評価した結果，全モデルがランダムベースラインを下回り，日本文化特有の偏見に対する脆弱性が明らかになった．