[3Win5] Poster session 3

[3Win5-10] Evaluation for Low-Rank Approximation of Weight Matrix in Deep Neural Networks based on Random Matrix Theory

〇Kohei Nishikawa¹, Koki Shimizu¹, Hiroki Hashiguchi¹ (1.Tokyo University of Science)

Keywords:Deep Learning, Random Matrix Theory, Denoising

過剰なパラメータを持つ深層ニューラルネットワーク（DNN）では，一般化性能の低下が課題として指摘されている．この課題に対して，DNNの重み行列の特異値がランダム行列理論（RMT）に従う小さな特異値を取り除くことで，予測に重要な少数の特異値のみで重み行列を再構成する低ランク近似が提案されている．小さな特異値の除去により冗長なパラメータを削減し，学習データへの過剰適合の軽減が期待できる．しかし，低ランク近似の精度を定量的に評価する手法はこれまで提案されていなかった．本研究では，RMTに基づいてDNNの重み行列をシグナル行列とノイズ行列に分解し，重み行列とシグナル行列の類似度を推定し，推定された類似度を低ランク近似の評価指標として提案した．数値実験では，CNNを画像データで学習させ，重み行列を異なる2つの手法で低ランク近似した．提案指標により，どちらの低ランク近似行列がよりシグナル行列に近いかを定量的に評価できるようになった．