[2B4-GS-6] 言語メディア処理：言語モデル

[2B4-GS-6-02] Self-attention機構に基づくDynamic Structured Neural Topic Model

〇宮本 望¹、磯沼 大¹、森 純一郎^1,2、坂田 一郎¹ (1. 東京大学、2. 理研AIP)

キーワード：トピックモデル、自己注意機構

研究者が論文を読む際、既存の学術トピックがどのように分岐・統合し、その論文が生まれたかを把握する必要がある。しかし、そのためには論文の引用先を辿り、膨大な先行論文を読まなくてはならない。そこで、論文中の新規トピックがどの既存トピックに基づき生まれたかをモデル化することで、学術トピックの分岐・統合過程を明らかにする方法を提案する。具体的には、各年度の論文群をDynamic Neural Topic Modelでモデル化すると共に、新規トピックがどの既存トピックに注目して生まれたかをself-attention機構に基づきモデル化する。従来のDynamic Topic Modelはトピック間の依存関係は考慮せずにトピックの時系列変化をモデル化している一方、本手法はトピックがどう分岐・統合したかを定量的に扱うことを可能にする。評価実験では、Dynamic Neural Topic Modelに対し提案手法を比較することで、本手法の有効性・課題について議論する。