[2A2] 機械学習-深層学習(2)

[2A2-05] Neural Programmer-Interpretersの拡張と四則演算を用いる文章問題の解答

〇勝俣 翔太¹、井上 克巳^1,2 (1. 東京工業大学、2. 国立情報学研究所)

キーワード：ニューラル・プログラマー・インタープリター、深層学習、実行例からのプログラム学習、帰納プログラミング、表現学習

本論文ではNeural Programmer-Interpreters (NPI)の算術演算の拡張を行なった．NPIとはプログラムの表現と実行を学習できる再帰的、構造的なニューラルネットワークである．まず、我々はNPIがもともと可能であった加算だけでなく、その他の3つの算術演算 (減算、乗算、除算)をNPIが実行できるようにした．その際、NPIにサブプログラムを共有可能にさせる拡張を行い、学習効率を向上させた．次に、四則演算を用いる、小学生レベルの算数の文章問題を解くことを考えた．このために、文章問題を数式表現に変換できる変換器を作成した．これはアテンションメカニズムを組み込んだSequence-to-Sequenceモデルを基にしたモデルである．このニューラルネットワークとNPIを用いて文章問題のデータセットを解き、提案手法の精度が他の既存の手法より優れていることを示した．