16:50 〜 17:10
[3D5-GS-2-05] 対照学習を用いた知識蒸留によるニューラルトピックモデルの学習
キーワード：トピックモデル、知識蒸留、対照学習、深層学習
トピックモデルはテキストデータ解析に用いられる手法の一つであり，データの背後にある潜在的なトピックの推定を目的とする．また，知識蒸留は深層学習の分野において，大規模な教師モデルの知識を小規模な生徒モデルに転移するための手段として注目されてきた．対照学習（contrastive learning）は自己教師あり表現学習において最近注目されており，その有効性が報告されている．以上のような背景のもと，本研究ではトピックモデルをニューラルネットワークで実現するニューラルトピックモデルの学習に対照学習の枠組みを利用した知識蒸留を用いることで，従来の知識蒸留では転移できなかった教師モデルの構造的な知識を生徒モデルに転移する問題に着目する．トピックの一貫性を測る評価実験では，対照損失を用いて教師モデルが生成した個々の文書表現における関係性を保持しつつ生徒モデルの潜在表現を学習する提案手法が，先行研究のニューラルトピックモデルの精度を改善することが確認できた．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。