[4I3-GS-11] AIと社会：

[4I3-GS-11-04] Dynamic Sparse Training の重み相互依存性観点からの分析

〇木澤 翔太¹、岩澤 有祐¹、渋谷 哲朗¹ (1. 東京大学)

キーワード：宝くじ仮説、Pruning

Dynamic Sparse Training (DST) は，学習中にゼロ重み (マスク) を動的に変更することでニューラルネットワークの効率を向上させる有望な技術である．しかしながら，その理論的基盤，特にマスクを交換する際の重み間の相互依存性の役割については十分に解明されていない．本研究では，Hessian Vector Products (HVP) を活用することでDSTのマスク交換メカニズムを強化する新たな枠組みを提案する．我々の分析によれば，特にマスク交換が大きい場合に，重み間の相互依存性が損失削減を大幅に向上させることが示された．また，CIFAR10データセット上で3層の幅の大きいMLPを用いた実験結果により，提案手法がRigLなどのベースライン手法と比較して，ロバスト性および汎化性能が向上することが確認された．