[4G2-GS-2k] 機械学習：基礎理論

[4G2-GS-2k-03] Refined Consistencyによる知識蒸留を用いた半教師あり学習

〇村本 佳隆¹、岡本 直樹¹、平川 翼¹、山下 隆義¹、藤吉 弘亘¹ (1. 中部大学)

キーワード：半教師あり学習

半教師あり学習は，ラベルありデータとラベルなしデータの双方を用いた学習法である．半教師あり学習手法として，2つのネットワーク間で知識を転移するDual Student(DS)，DSのネットワーク数を4つ以上に拡張したMultiple Student(MS)が提案されている．MSはDSに比べて高い精度であるが，全てのネットワーク間での知識転移を一度に行うことができないため，学習効率が悪い．そこで本研究では，効率的な知識転移方法による精度向上を目的として，1度に全てのネットワーク間で知識を転移するRefined Consistencyを提案する．CIFAR-100データセットを用いた実験では，MSに比べて提案手法による精度向上が大きいことを示す．