[2Win5] ポスターセッション2

[2Win5-38] デコーダ型言語モデルにおけるTask Arithmeticを用いたバイアス低減手法の検証

〇白藤 大幹¹、田中 宏治¹、竹中 誠¹、斉藤 辰彦¹、木村 泰知² (1.三菱電機株式会社、2.小樽商科大学)

キーワード：大規模言語モデル、社会的バイアス

近年言語モデル(LM)に含まれる社会的バイアスが問題視されている．LMのバイアス低減研究の多くはエンコーダ型LMを対象とし，デコーダ型LMへの適用性を検証しているものは少ない．本研究では，8個のデコーダ型LM (GPT2，Llama3)を対象に，バイアス低減手法の有効性を評価する．低減手法は，Task Arithmeticに基づき，モデルの重みの減算だけでバイアス低減を実現するものである．本手法は，減算する重みのスケールをハイパーパラメータλで制御する．評価にはLLMの生成文の社会的バイアスを評価するHONESTを用いる．また，本手法が下流タスクに与える影響を確認するため，GLUEによる評価を実施する．評価の結果，λ=1で本手法によりバイアスが低減（0.1456 ポイント→0.0537 ポイント）されたが，デコーダ型LMはλ=1においても下流タスクの性能劣化を引き起こしやすいことを確認した．また，LLMはλ=1で記号列を出力し始め，λ=10でほとんどの生成文が記号列になることを確認した．今後は，10B以上のLLMで性能を比較し，LLMの大きさが社会的バイアスに及ぼす関係を確認する予定である．