[2G1-OS-21c] 世界モデルと知能

[2G1-OS-21c-03] 反復償却推論によるマルチモーダル情報統合の改善

〇大島 佑太¹、鈴木 雅大¹、松尾 豊¹ (1. 東京大学大学院工学系研究科)

キーワード：マルチモーダル、反復償却推論

マルチモーダル変分オートエンコーダーは、推論モデルを学習することで、全てのモダリティからの情報を統合した潜在表現（共有表現）を獲得できる。しかし、任意のモダリティから共有表現を得たい場合、他のモダリティの入力が欠損してしまい、適切な表現推論が行えない。本研究では、欠損モダリティ問題を、任意のモダリティからの償却推論とマルチモーダルELBOの償却ギャップの一部として捉え直し、反復償却推論を用いて単一のモダリティ入力から共有表現を適切に得る方法を提案する。しかし、反復償却推論の過程では、マルチモーダルELBOを評価する必要があるため、欠損モダリティも必要となる。そこで、単一のモダリティのみを入力とする推論モデルを用意し、教師として反復償却推論を、生徒として新たに用意した推論モデルを蒸留し、単一モダリティから共有表現を獲得できる推論モデルが得られることを検証する。