[3S1-GS-2] 機械学習：

[3S1-GS-2-04] エンコーダの潜在空間の幾何学量推定

CNN・Transformerの情報幾何学を用いた分析

〇赤塚 育海¹、村田 昇¹ (1. 早稲田大学)

キーワード：機械学習、情報幾何、潜在空間

CNN や Transformer などのエンコーダは, 画像をはじめとした高次元オブジェクトをベクトル埋め込み（Object embedding）操作によって低次元ベクトルに埋め込むことができ, 多くの先行研究では埋め込みベクトルが作る潜在空間をユークリッド空間として扱っている. 本研究では, ユークリッド的な仮定のもとでは見落とされがちな潜在空間の幾何学構造を捉えることを目的として, エンコーダの中間表現を確率分布に対応づけることで情報幾何学的な多様体を定義し, 計量や曲率といった幾何学量を推定する手法を提案する. 画像データセットをエンコーダに入力して得られる分布の集合は, α-ダイバージェンスを距離とする情報幾何的な多様体を構成し, その期待値座標は埋め込みベクトルと一致する. CNN を用いて学習した MNIST データセットの計量と曲率を推定する実験では, 多くの点で正の曲率を持つという結果を得ることができ, 潜在空間が必ずしも平坦ではないことを示した.