[3Rin2] インタラクティブセッション１

[3Rin2-02] 訓練済み深層生成モデルの潜在変数間相互条件付きサンプリングによるマルチモーダル双方向生成モデル

〇今給黎 成彬¹、大知 正直¹、森 純一郎¹、坂田 一郎¹ (1. 東京大学大学院工学系研究科技術経営戦略学専攻)

キーワード：深層学習、マルチモーダル、双方向生成

近年，画像や文章などの異なるデータ間を相互に変換するマルチモーダル生成の研究が実サービスへの応用可能性の観点から注目されている．
マルチモーダル生成は，画像の自動注釈，音声の字幕生成, など最近でも大きな成果を得ており産業応用上重要な技術である一方で, 大規模なデータセットが必要であるという課題がある.

一方で，機械学習研究分野は，大規模なデータセットを用いて訓練した再利用可能な訓練済みモデルを一般に公開するようになってきており，その数は今後増加すると見込まれる．

そこで本研究では，この訓練済みモデルを活用することで，小規模なデータでマルチモーダル生成を実現することを目的とする．
本稿では，個別モダリティの潜在変数が推論可能な訓練済み生成モデルと少量のデータセットによってマルチモーダル生成を行う手法を提案する．

本稿では画像とラベルからなるマルチモーダルデータに提案手法を適用する実験を行い，与えられた訓練済み生成モデルが十分訓練されていれば提案手法によって少数の訓練データでそれらのモデルと同等程度の精度でマルチモーダル双方向生成が可能なことを示した．