[4Xin2] ポスターセッション2

[4Xin2-109] Character-LLM の評価指標の検討

〇木本 晴久^1,2、人見 雄太¹、佐藤 大地^1,3、跡部 優吾¹、小山 正彦¹、片田 智大¹、橋本 圭¹、ジューストー 沙羅¹、守屋 貴行¹ (1.株式会社Aww、2.茨城大学、3.東京大学)

キーワード：キャラクターLLM、評価指標、バーチャルヒューマン

本研究では，キャラクターをロールプレイしているチャットボットを自動評価する手法を提案する．提案手法は，2つの手続きを通じて行われる．まず，ロールプレイするキャラクターの過去のセリフや発言からキャラクター設定を抽出する．その後，ロールプレイしているチャットボットに対して，抽出されたキャラクター設定を用いて自動評価を行う．本実験では，Aww, Incが開発したバーチャルヒューマンであるimmaのXのポストデータに対してキャラクター設定の抽出を実施した．その結果，54件のキャラクター設定を抽出することに成功し，そのうち44件は人手評価により妥当と評価された．さらに，キャラクター設定を用いた自動評価では，85.1ポイントの精度で適切に評価できることが明らかになった．