[3Yin2] インタラクティブセッション1

[3Yin2-32] 自然言語処理モデルの圧縮におけるプルーニング対象ブロック決定手法の検討

〇徳政 光人¹、吉岡 理文¹、井上 勝文¹ (1.大阪府立大学　大学院工学研究科)

キーワード：モデル圧縮、言語モデル、プルーニング

自然言語処理における機械学習では，大規模な事前学習済みTransformerモデルを使用することが主流となっており，特に，モデルのサイズが性能に大きな影響を与えることが示されている．このような状況では，BERTをはじめとする大規模モデルは，巨大なメモリを持つGPUを必要とするため，多くの人々にとって手の届かないものになっている．こうした問題を解決するためには，できるだけモデルの性能を維持しつつ，サイズを圧縮する必要がある．従来手法としてエンコーダブロック単位でプルーニングを行う手法があるが，どの部分を削除するかは経験に基づいて決定されている．本研究では，既存のエンコーダブロックに対してプルーニングを行う圧縮手法に，各エンコーダブロックを削除した際のロスの変化量を評価指標として導入し，算出されたスコアに基づいて削除する箇所を決定することで，性能を維持しつつサイズを削減する手法を提案する．GLUEタスクを用いた実験において，予め定められた特定のブロックを削除する従来手法と比較して，モデルを圧縮した際の性能劣化をより抑えられることが確認できた．