[2Q5-J-2] 機械学習: 先端モデルの展開

[2Q5-J-2-05] 分散システムにおける疑似同時化の検討

遅延があっても機械学習を使うために

〇板谷 琴音^1,2、坂井 尚行^3,4、高橋 恒一^1,3,4、山川 宏^3,4 (1. 理研 BDR、2. 慶應義塾大学大学院 政策・メディア研究科、3. ドワンゴ ドワンゴ人工知能研究所、4. 全脳アーキテクチャイニシアティブ)

キーワード：分散計算、リアルタイムシステム

深層学習の技術が成熟するに従い，既存の機械学習アルゴリズムを柔軟に組み合わせた複合システムを開発することで，より高度な知的システムを構築することが期待されている．複合システムをリアルタイムかつ分散的に動作させる場合，アルゴリズム間の時間的整合性を考慮する必要があり，それが改変や大規模化の際に弊害となりうる．本研究では，各アルゴリズムの出力をあらかじめ予測して転送することによって複合システム内の遅延を補償する仕組みを検討した．通常の誤差逆伝播法では情報の伝播に遅延を含んだ人工ニューラルネットワークの学習は機能しないが，Followdictive Codingと呼ばれる提案手法を用いて遅延を補償することで学習が収束することを示した．