[3L5-GS-1] 基礎・理論：

[3L5-GS-1-05] Epoch-wise Double Descentにおける正誤ラベルに対する学習過程差の解析

〇久保 友樹¹、飯田 佑輔¹ (1. 新潟大学)

キーワード：深層学習、深層二重降下、ラベルノイズ

Epoch-wise Double Descentは，ラベルノイズデータを含む学習においてテスト損失が過学習後に再び減少する現象を指す．過学習は一般にbias-variance trade-offにより解釈されるが，二重降下現象はこの枠組みでは説明できない．そこで本研究では，学習過程を正誤ラベルに分けて解析することで，現象のさらなる理解を目指した．CIFAR-1０データに30%ラベルノイズを付与し，7層MLPモデルを用いて数値実験を行った．その学習過程を，正しいラベルデータの訓練損失，ラベルノイズデータの訓練損失，ラベルノイズデータを正しいラベルで評価した訓練損失に分離して可視化した．その結果，二重降下現象が生じるまでに以下の３つの学習フェーズに分かれることがわかった．まず，正しいラベルデータのみが学習される．次に，ラベルノイズデータの学習が始まり，それによるテスト損失上昇が始まる．さらにラベルノイズデータの学習が進むと，逆にテスト損失の減少が始まり二重降下現象となる．これより，二重降下現象はノイズラベルへの過適合により，逆に汎化性が生じている現象と解釈できる．