[3Rin4] インタラクティブ1

[3Rin4-83] 文長制御のための条件付き言語モデル

〇永塚 光一¹、渥美 雅保¹ (1.創価大学)

キーワード：条件付き言語モデル、文長制御、文生成

近年，事前学習言語モデルの発展により文生成タスクの性能が飛躍的に向上している．特に，GPT-2などの事前学習言語モデルは大量のテキストを自己教師あり学習することで，人間に近い自然な文章を生成できることを示した．また，CTRLのような条件付き言語モデルは事前学習時に制御コードと呼ばれるトークンを入力することで，生成文のトピックとスタイルを制御することに成功した．一方で，文長制御などの連続的な制御が必要とされる場合においては，制御コードを離散的なトークンよりも連続的な表現として学習させることが望ましい．そこで，本研究では，条件付き言語モデルを学習する際に，文長を分散表現として陽に入力することにより，推論時に文長を制御する手法を提案する．ここで，文長を分散表現に変換する処理には位置符号化を適用する．学習用データセットとしてwikitext-103事前を用い，学習済みのGPT-2をファインチューニングする．指定長と出力長間の誤差に対する定量評価および出力文の内容に関する定性評価を行い，提案手法の有効性を示す．