[2L1-GS-2] 機械学習：自然言語処理

[2L1-GS-2-02] GPT-2を活用した質問応答タスクへの適応

〇八幡 一紀¹、桐生 佳介¹、片柳 宏太¹、毛利 研²、関本 和穂² (1. 第一生命情報システム株式会社、2. 有限責任監査法人トーマツ)

キーワード：自然言語処理技術、事前学習済言語モデル、GPT-2

近年、深層学習アルゴリズムを用いた自然言語処理技術の発展が目覚ましい。Googleが開発したBERTや、OpenAI財団が開発したGPT-xシリーズがその発展に寄与している。いまや文章のカテゴリ分類といったシンプルなタスクのみならず、文章の作成や要約を行う生成系のタスクについても研究が進められている。この実験では、GPT-2を質問応答チャットボットに応用できるか検証するため、GPT-2の事前学習モデルを生成し、さらに質問応答タスクに適応するようファインチューニングした。ファインチューニングには生命保険会社のFAQデータを使用した。結果として、テストデータの約8割で自然な回答、約6割で理想の回答を得ることができた。この仕組みを活用することで、ルールベースとは異なるアプローチで質問応答システムを構成できると考えている。