[4G2-GS-2k] 機械学習：基礎理論

[4G2-GS-2k-02] ナビゲーション課題における視覚と言語の対応づけのための軌道の大域表現の半教師あり学習

〇阿久澤 圭¹、岩澤 有祐¹、松尾 豊¹ (1. 東京大学)

キーワード：模倣学習、言語指示理解、深層学習

自然言語による指示を理解することができるエージェントの構築は，例えば家事を代替するロボットの開発などに役立つ．しかし，多様な言語指示や環境に適応して動作するエージェントを，模倣学習を用いて作るためには，大量の<軌道・言語指示>のペアデータが必要となると考えられる．この問題への対策として既存研究は，軌道から言語指示の生成を行うモデル（Speakerモデル）を訓練し，アノテーションのない軌道データに対して人工的に生成した言語指示を付与することを提案した．本研究では，このSpeakerモデルの訓練を容易にするために，ペアデータと追加的な軌道データを用いた半教師あり表現学習によって，軌道データから潜在表現を抽出することを提案する．具体的には，言語指示が軌道の大域的な表現に対応するという構造を考慮し，潜在表現が言語に関する情報のみを獲得するように制約を与える．実験では，BabyAI環境を用いて検証を行い，提案手法によって軌道データから抽出した表現が，言語に関する情報を獲得することを示す．