[3S4-GS-2] Machine learning:

[3S4-GS-2-04] An Analysis of Diversity Regularization in Deep Ensemble Learning

〇Tatsuhito Hasegawa¹, Shunsuke Sakai¹ (1. Graduate School of Engineering, Univ. of Fukui)

Keywords:Deep Ensemble Learning, Negative Correlation Learning, Diversity Regularization

深層アンサンブル学習において，各モデルの個別損失とアンサンブル出力を用いた結合損失を組み合わせることで，モデル間の多様性を促進する手法を負相関学習と呼ぶ．本研究では，負相関学習に更に多様性を促進する制約項を導入する．Logitベースの多様性制約として，非ターゲットクラスに基づく多様性を強調するD_L-decapを提案する．Featureベースの多様性に対して，クラス重心間のなす角を最大化するD_F-CCAを提案する．小規模な画像認識タスクを対象に，ResNet18をアンサンブルする網羅的検証を行った結果，多くの場合において多様性制約が性能を向上させることを明らかにした．特に，小規模なデータセットの場合，Logitベースの多様性制約はモデルスケールにかかわらず性能向上の傾向が見られた．対して，Featureベースの多様性制約は訓練データ数が増加するにつれて性能向上の傾向が見られた．