[1M5-OS-20c] 社会現象とAIと可視化(3/3)

[1M5-OS-20c-04] バイアス除去がもたらすNLPモデルの性能劣化

小林 一樹¹、〇脇田 建¹ (1. 東京工業大学)

キーワード：人工知能、自然言語処理、バイアス、視覚的分析

本論文では自然言語処理(NLP)におけるバイアスの緩和(デバイアス)の研究における新たな基準を提案する。近年のデバイアスの研究は、各論文の論文内で定義されたバイアスに関する指標の改善のみに注視しており、デバイアスによるNLPタスクを解く能力に対する影響はほとんど考慮されていない。我々はこの問題に着目し、デバイアスされた単語ベクトルがNLPのタスクを解く能力が劣化していることを数値実験を通して発見した。また、その原因をデバイアス前後のモデルをクラス単位、分類単位、サンプル単位で比較することができるVisual Analytics(VA)システムの作成や、既存の機械学習の説明手法を利用して調査し、単語ベクトルが分類タスクや質問応答タスクを解く際に重要な情報を失ってしまっている可能性があることを発見した。本研究は、NLPにおけるデバイアスによるモデルや単語ベクトルの劣化を調査した初めての研究である。