[3Win5-10] ランダム行列理論に基づくDNN重み行列の低ランク近似に対する評価法の提案
キーワード:深層学習、ランダム行列理論、ノイズ除去
過剰なパラメータを持つ深層ニューラルネットワーク(DNN)では,一般化性能の低下が課題として指摘されている.この課題に対して,DNNの重み行列の特異値がランダム行列理論(RMT)に従う小さな特異値を取り除くことで,予測に重要な少数の特異値のみで重み行列を再構成する低ランク近似が提案されている.小さな特異値の除去により冗長なパラメータを削減し,学習データへの過剰適合の軽減が期待できる.しかし,低ランク近似の精度を定量的に評価する手法はこれまで提案されていなかった.本研究では,RMTに基づいてDNNの重み行列をシグナル行列とノイズ行列に分解し,重み行列とシグナル行列の類似度を推定し,推定された類似度を低ランク近似の評価指標として提案した.数値実験では,CNNを画像データで学習させ,重み行列を異なる2つの手法で低ランク近似した.提案指標により,どちらの低ランク近似行列がよりシグナル行列に近いかを定量的に評価できるようになった.
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。