[1J4-GS-2] 機械学習: 基礎理論 (1)

[1J4-GS-2-02] カテゴリ毎にAuto Encoderを用いるDeep Neural Networkの構築法に関する一考察

〇今井 虎太郎¹、後藤 亮介¹、雲居 玄道¹、後藤 正幸¹ (1. 早稲田大学)

キーワード：ディープニューラルネットワーク、事前学習、多値分類問題、自己符号化器、Deep ECOC

近年，Deep Neural Network（以下，DNN）と呼ばれる手法が注目を浴びている．この手法において，学習の初期値は得られる結果の精度に影響を与える．そのため，Pre-trainingにより初期値を求めFine-tuningを行う手法が提案されている．この手法の1つにDeep ECOCがある．これは，多値分類のために，Support Vector Machine（以下，SVM）による学習をPre-trainingとしたものである．この手法では，あるカテゴリとその他のカテゴリを分けるSVMの学習結果をDNNの初期値として用いている．つまり，このSVMは各カテゴリの特徴を捉える形と捉えることができる．本研究では，この考え方を援用し，カテゴリ毎にその特徴を表現するDNNに分岐させることにより，精度向上を目指す．そこで，各カテゴリの特徴を表現するPre-training としてAuto Encoderを用いることを提案する．そして，この結果を用いてDNNを再学習する．これらの提案手法の有効性を検証するために，新聞記事データを用い，評価実験を行う．