[2Win5] ポスターセッション2

[2Win5-104] MIA手法によるデータ汚染の検知 : HumanEval の事例

〇宮田 侑佳¹、西潟 優羽¹、小林 美結¹、佐藤 美唯¹、伊東 和香¹、倉光 君郎¹ (1.日本女子大学)

キーワード：データ汚染、コード生成、メンバーシップ推論攻撃

大規模言語モデル(LLM)は，次世代のAIシステムの基盤モデルとなり，開発者はその性能向上にしのぎを削っている．LLMの性能は，公開されたベンチマークによって測定されるが，これらが訓練データセットに含まれるとデータ汚染になり，評価の公正性が損なわれる．
本研究の目的は，メンバーシップ推論攻撃（MIA）を応用し，ベンチマークデータが訓練済みかどうか判定することである．
我々の提案は，MIA手法の分析で必要となる未訓練データを機械的な手段で生成した点である．
我々は，提案手法を用いて，コード生成ベンチマーク HumanEval が学習済みかどうか評価した．
HumanEval登場前のLLMから最近公開されたLLMで分析した結果，データ汚染に対して示唆に富む評価が得られた．