[2D4-OS-18a] 世界モデルと知能 (1)

[2D4-OS-18a-05] Posterior Collapseの情報識別可能性による解釈と条件付き相互情報量最大化を用いた対策

〇阿久澤 圭¹、岩澤 有祐¹、松尾 豊¹ (1. 東京大学)

キーワード：深層生成モデル、変分自己符号化器、事後分布崩壊

Variational Autoencoder (VAE)の訓練はposterior collapse，すなわち潜在変数がデコーダーに無視される現象にしばしば妨げられる．
本稿では，既存のVAEがしばしば仮定するデータ生成過程の情報識別不能性がposterior collapseを生じると主張する．
これは，情報識別不能なデータ生成過程においては，特定の潜在変数が特定の情報を持つように設計されているのにも関わらず，他の潜在変数がその情報を期待尤度を損なうことなく獲得できてしまうためである．
そして自己回帰デコーダーを持つVAEとdisentangled sequential autoencoderを例に挙げて，この解釈がposterior collapseの統一的な説明を与えることを示す．
加えて，情報識別不能性の問題を緩和するために，敵対的学習を用いた条件付き相互情報量の最大化による正則化手法を提案する．
この正則化手法はモデルや潜在変数の構造を特定のものに制限する必要がない．
実験では提案手法が前述の2つのモデルにおいてposterior collapseを緩和することをRDカーブなどを用いて確認する．