[2J5-GS-2] 機械学習: 強化学習と発展 (1)

[2J5-GS-2-01] 画像分類のための継続的な事前学習における教師なし表現学習の堅牢性に関する検証

〇中田 光^1,2、横田 理央^1,2 (1. 東京工業大学、2. 産総研・東工大実社会ビッグデータ活用 オープンイノベーションラボラトリ (RWBC-OIL))

キーワード：継続学習、表現学習、致命的忘却

実世界では常に移り変わる分布から得られる膨大なデータを継続的に学習し，学習したデータから知識を蓄え，その知識を活用して学習を行うモデルの構築が求められる．しかし，継続的に学習を行ったモデルは致命的忘却により過去に学習したデータに対する精度が低下し，致命的忘却を防ぎつつ継続的に学習を行うことは深層学習および機械学習における長年の課題の一つとなっている． 本研究では教師なし表現学習に着目し，学習するそれぞれの異なるタスクが継続的に与えられる条件のもと学習を行った場合の，教師なし表現学習の致命的忘却に対する堅牢性の調査を目的とする．画像分類データセットによる教師なし表現学習を対象とし，数クラス毎に分割した画像分類データセットを既存の教師なし表現学習手法により継続的に学習し，比較を行った．本調査の結果，教師なし表現学習は教師あり学習および蒸留による学習と比較し，致命的忘却が緩和される結果が得られた．