[2Q5-J-2] Machine learning: advanced models

[2Q5-J-2-05] A Study of Pseudo-Simultaneous Systems

Using Machine Learning with Delay

〇Kotone Itaya^1,2, Naoyuki Sakai^3,4, Koichi Takahashi^1,3,4, Hiroshi Yamakawa^3,4 (1. RIKEN BDR, 2. Graduate School for Media and Governance, Keio University, 3. DWANGO AI Laboratory, Dwango, 4. The Whole Brain Architecture Initiative)

Keywords:Distributed Computing, Real Time Systems

深層学習の技術が成熟するに従い，既存の機械学習アルゴリズムを柔軟に組み合わせた複合システムを開発することで，より高度な知的システムを構築することが期待されている．複合システムをリアルタイムかつ分散的に動作させる場合，アルゴリズム間の時間的整合性を考慮する必要があり，それが改変や大規模化の際に弊害となりうる．本研究では，各アルゴリズムの出力をあらかじめ予測して転送することによって複合システム内の遅延を補償する仕組みを検討した．通常の誤差逆伝播法では情報の伝播に遅延を含んだ人工ニューラルネットワークの学習は機能しないが，Followdictive Codingと呼ばれる提案手法を用いて遅延を補償することで学習が収束することを示した．