[1Z1] 機械学習-機械学習基礎(1)

[1Z1-05] ハイパーネットによる識別モデルのベイズ推定とモデル平均化

〇鵜飼 健矢¹、松原 崇¹、上原 邦昭¹ (1. 神戸大学 大学院システム情報学研究科)

キーワード：ハイパーネット、ベイズ推定

ニューラルネットワークには高い表現力があり，実世界での複雑なタスクに用いることができる．しかし，学習に利用できるデータは限られているため，過学習を起こしやすい問題がある．過学習を防止することはニューラル ネットワークの利用において最も重要な課題の1つであり，様々な正則化手法が研究されている．本稿では，ハイパーネットを用いたニューラルネットの正則化手法を提案する．提案手法では，確率分布からのサンプルを入力とするハイパーネットを使用し，ニューラルネットのパラメータを生成する．これによりハイパーネットによって生成されるパラメータは暗黙的な分布を持ち，学習を正則化することが期待される．また，重みの分布が学習されることから，モデル平均化により識別精度の向上を試みる．実験では提案手法には一定の正則化効果があることがわかった．