[4G2-GS-2k] 機械学習：基礎理論

[4G2-GS-2k-04] Human-in-the-loopによる設計空間の絞り込み法を導入した知識転移グラフの探索

〇岩田 幸¹、南 蒼馬¹、平川 翼¹、山下 隆義¹、藤吉 弘亘¹ (1. 中部大学)

キーワード：深層学習、蒸留

共同学習とは，ネットワーク間で知識を転移する手法である．知識転移グラフは共同学習の一種であり，従来の共同学習法を内包し，多様性に富んだ学習が可能である．しかし，知識転移グラフの設計空間は膨大であるため，精度が高いグラフはどのような傾向があるかはまだ定かではない．そこで，本研究では精度の高いグラフの傾向を分析し，獲得した結果を基に精度が高いグラフの構築をして，最適な共同学習法を獲得することを目的とする．CIFAR-100を用いた実験により，知識転移グラフの設計空間をHuman-in-the-loopで構築し，Deep Mutual Learningと比べ精度の高いグラフの設計空間を獲得する．また，獲得した設計空間を全探索することによりAsynchronous Auccessive Halving Algorithmを用いて探索した場合より良い共同学習法を獲得する．