[1I4-J-2] Machine learning: new modeling

[1I4-J-2-04] Hierarchical Neural Topic Model for Multimodal Learning

〇Tatsuya Aoki¹, Masato Minamisaka¹, Takayuki Nagai^1,2 (1. The University of Electro-Communications , 2. Osaka University)

Keywords:multimodal learning, generative model, deep learning

本研究では，実世界のマルチモーダルなセンサデータの学習をより効率的にすることを目的とし，マルチモーダル学習のための新しい階層型ニューラルトピックモデルを提案する．提案モデルでは階層ベイズモデルのパラメータ推論にニューラルネットワークを活用することでモデルのスケーラビリティと表現力を向上させる．具体的なモデルとして，多層マルチモーダルLDA（mMLDA）をニューラルネットワークにより実現したモデルである「Deep-mMLDA」とDeep-mMLDAをノンパラメトリックに拡張し，データに応じたトピック数の調整を可能にしたモデルである「RSB-mMLDA」の２つを説明する．
提案手法を評価するために，スマートハウス内での人の活動に関するマルチモーダルデータを対象とし，２つの提案モデルを用いた学習実験を行った．学習結果を用いたデータの分類結果と分類結果の一致度を先行研究のモデルと比較すると同等の性能を示し，提案手法の有効性が確認された．