[B-6] ネットワークシステム

[B-6-25] Federated Learning Using Distillation with Multi-size Machine Learning Model

^○矢島大路¹, 三好匠¹, 山崎託¹, 小野翔多² (1.芝浦工大, 2.東大)

この講演は本会「学術奨励賞受賞候補者」の資格対象です。

Keywords:連合学習、蒸留、異なるサイズの機械学習モデル、端末負荷、機械学習

従来の機械学習におけるサーバへの負荷の一極集中を避けるため，複数のクライアントデバイスへ処理を分担させる連合学習のような分散機械学習が注目されている．筆者らは，蒸留を用いた連合学習を提案している．本手法では，機械学習モデルの圧縮技術である蒸留を用いてクライアントへ送られる機械学習モデルを小型化することで，従来の連合学習よりもクライアントの処理負荷削減を実現している．しかし，小型化するモデルのサイズは1つしか設定されておらず，クライアントに応じてサイズを変更することは考慮されていない．本稿では，異なるサイズの機械学習モデルによる蒸留を用いた連合学習を提案する．