[4D3-GS-6] 言語メディア処理：応用

[4D3-GS-6-05] k近傍言語モデルを用いたテキスト中の数字の予測

〇阪本 拓功¹、相澤 彰子^2,1 (1. 東京大学大学院、2. 国立情報学研究所)

[[オンライン]]

キーワード：機械学習言語モデル、k近傍探索、数字穴埋めタスク

k近傍言語モデルは，事前学習済み機械学習言語モデルをk近傍法のアイデアによって拡張した言語モデルである．本研究では，文中のマスクされた数字を文脈から予測する数字穴埋めタスクに対してk近傍言語モデルを適用し，精度の向上を図る．実験では，k近傍言語モデルが数字穴埋めタスクにおいてもベースの言語モデルを上回る精度で予測を行えることを確認した．また，従来手法ではk近傍探索に用いる文脈表現を得る際にマスクより前の文章全体を使用していたが，本研究ではマスクとその周辺語のみ，マスクとその後続語のみという異なる文脈範囲を利用する手法を比較し，より密接にマスク数字に関わる単語のみを用いることで探索精度の向上を図る．その結果，数字穴埋めタスクでは，数字のマスクトークンの埋め込み表現のみを用いてk近傍探索を行う手法が最も効果的であることが確認された．