[1Q3-GS-11] ロボットと実世界: マルチモーダル情報

[1Q3-GS-11-03] 確率モデルと深層生成モデルの相互作用によるマルチモーダル学習

〇國安 瞭¹、中村 友昭¹、長井 隆行²、谷口 忠大³ (1. 電気通信大学、2. 大阪大学、3. 立命館大学)

キーワード：教師なし学習、マルチモーダル、確率的生成モデル、深層生成モデル

人間のような知能を人工的に実現するためには，ロボットに搭載されている様々なセンサから得られるマルチモーダル情報から，ロボットが環境を理解するためのモデルが必要である．そこで，我々はロボットがマルチモーダル情報を分類することで語意や概念を獲得するモデルを提案してきた．これらのモデルは，MLDAを基盤に各モダリティ情報の特徴量の関係を教師なしで学習している．しかし，特徴抽出に教師ありで学習されたCNNを用いていた．さらに，不可逆な特徴抽出を行っていたため観測そのものの生成ができなかった．本稿では，VAEを拡張し潜在変数が多項分布にしたがうMultinomial VAE(MNVAE)を提案し，MNVAEとMLDAを統合したモデルを構築することで，ロボットから得た画像と単語のマルチモーダル情報の分類を行う．MNVAEとMLDAの相互作用によって分類に適した潜在空間が学習され，単語から画像が生成可能であることを示す．