[3S4-GS-2] 機械学習：

[3S4-GS-2-04] 深層アンサンブル学習における多様性制約に対する考察

〇長谷川 達人¹、坂井 俊介¹ (1. 福井大学大学院)

キーワード：深層アンサンブル学習、負相関学習、多様性制約

深層アンサンブル学習において，各モデルの個別損失とアンサンブル出力を用いた結合損失を組み合わせることで，モデル間の多様性を促進する手法を負相関学習と呼ぶ．本研究では，負相関学習に更に多様性を促進する制約項を導入する．Logitベースの多様性制約として，非ターゲットクラスに基づく多様性を強調するD_L-decapを提案する．Featureベースの多様性に対して，クラス重心間のなす角を最大化するD_F-CCAを提案する．小規模な画像認識タスクを対象に，ResNet18をアンサンブルする網羅的検証を行った結果，多くの場合において多様性制約が性能を向上させることを明らかにした．特に，小規模なデータセットの場合，Logitベースの多様性制約はモデルスケールにかかわらず性能向上の傾向が見られた．対して，Featureベースの多様性制約は訓練データ数が増加するにつれて性能向上の傾向が見られた．