[2M1-OS-19a] 世界モデルと知能(1/4)

[2M1-OS-19a-05] 再帰的自己教師あり学習による表現学習に関する研究

〇北田 敦也¹、岩澤 有祐¹、松尾 豊¹ (1. 東京大学)

キーワード：自己教師あり学習、表現学習

従来の深層学習は、入力及び教師データに対してモデル構造が事前仮定され、タスクごとに個別最適化されたモデルが数多く提案されてきた。近年、教師データを用いずに入力データのみからモデルを学習し、後続タスクに利用可能な表現を獲得する、自己教師あり学習という手法が活発に研究されている。一方で、それらの多くは依然としてモデル構造を事前定義した学習を行なっている。そこで、入力となる外界刺激のみから適切なネットワーク構造を築く大脳新皮質の仕組みを参考に、再帰的自己教師あり学習という枠組みを本研究で提案する。これは自己教師あり学習によって訓練されたネットワークから生成される中間層特徴量の状態を、さらに自己教師あり学習で予測するという処理を再帰的に繰り返すことで、特徴量抽出層をボトムアップで積み重ね、入力を統合した高次な特徴を生み出すものである。実験では、特徴量抽出層の重み可視化と、中間層特徴量の線形分類精度によって、定性的・定量的に有効性を検証した。自己教師あり学習のタスクが適切に設定された場合に、提案手法の有効性が実験により示された。本研究は、入力に応じて適切な構造を構築できる可能性を示唆している。