[4J1-GS-6d] 言語メディア処理：自然言語処理(1/2)

[4J1-GS-6d-02] 日本語形態素解析器の知識蒸留

〇田上 青空¹、戸次 大介¹ (1. お茶の水女子大学)

キーワード：自然言語処理、形態素解析、深層学習

本稿は、知識蒸留を用いて日本語形態素解析器rakkyoをさらに圧縮する手法を提案する．
日本語形態素解析器は現在非常に高い精度となっている．しかし、実用化においてはモデルサイズの大きさという課題が残されている．
そこでArsenyらによるrakkyoモデルでは、Juman++によって作成された5億文のシルバーデータを学習し、文字ユニグラムのみを用いることでモデルサイズを大幅に圧縮した．
本研究では、深層学習モデルの圧縮手法の1つである知識蒸留をすることで、rakkyoをさらに圧縮し大規模なデータを必要としない形態素解析器を構築し、小規模なデータでrakkyoの精度に近づけるかを評価した．