[3R1-OS-45] 知的対話システム

[3R1-OS-45-02] オンライン小説サイトから収集したペルソナ対話データセットの構築

〇上原 隆一¹、稲葉 通将¹ (1. 電気通信大学)

キーワード：対話システム、対話データセット、ロールプレイ

大規模言語モデル（LLM）を用いたキャラクターのロールプレイに関する研究が活発に行われている．ロールプレイ能力を評価する手法として，LLMがキャラクターに関する情報であるペルソナを活用し，キャラクターらしい応答ができるかを確認する方法がある．ロールプレイ能力を正確に評価するには，LLMにとって未知のキャラクターのロールプレイを行わせることが重要である．しかし，これまでに提案されたデータセットには有名な作品が多く含まれている．これらの作品はLLMの事前学習データに高頻度で出現している可能性があり，ペルソナを活用する能力を正確に評価できないおそれがある．そこで本研究ではマイナーな作品を含む96のオンライン小説作品から608キャラクターの発話を収集し，ペルソナ対話データセットを構築した．本データセットを用いた実験の結果，ファインチューニングによりペルソナを活用したロールプレイ能力の向上が確認された．一方，学習データに含まれない未知のキャラクターのロールプレイ能力の汎化性能には課題があることが明らかとなり，汎化性能向上のための学習手法検討のために本データセットが活用できることが示唆された．