[3Xin2-79] 低分散で省メモリな勾配推定のためのForward Gradientと誤差逆伝播法の結合
キーワード：自動微分、Foward gradient、誤差逆伝播、最適化、勾配
近年，誤差逆伝搬法に代わる新たな勾配計算方法として順伝播のみを用いてパラメータの勾配を計算するForward gradientが注目を集めている．
Forward gradientは，順伝播中にランダムな方向に関する方向微分を評価することで，勾配の不変推定量を計算する．
誤差逆伝搬法と比較し，順伝播中に得られた活性度の保持を必要としないためメモリ効率的である一方，パラメータサイズに比例して推定分散が増加する欠点がある．
さらに，収束性改善のために，Forward gradientを単純に複数回サンプリングする方法は，時間効率を低下させる課題がある．
本研究では，時間効率を維持しつつ分散を低減可能な自動微分手法，Hybrid gradientを提案する．
Hybrid gradientはDNNを入力側と出力側の２つの層グループに分割し，入力側にForward gradient，出力側に誤差逆伝搬法を適用することにより，全体の勾配推定量の分散を低減させる．
Forward gradientは，順伝播中にランダムな方向に関する方向微分を評価することで，勾配の不変推定量を計算する．
誤差逆伝搬法と比較し，順伝播中に得られた活性度の保持を必要としないためメモリ効率的である一方，パラメータサイズに比例して推定分散が増加する欠点がある．
さらに，収束性改善のために，Forward gradientを単純に複数回サンプリングする方法は，時間効率を低下させる課題がある．
本研究では，時間効率を維持しつつ分散を低減可能な自動微分手法，Hybrid gradientを提案する．
Hybrid gradientはDNNを入力側と出力側の２つの層グループに分割し，入力側にForward gradient，出力側に誤差逆伝搬法を適用することにより，全体の勾配推定量の分散を低減させる．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。