[4G2-GS-6] 言語メディア処理：

[4G2-GS-6-03] CoTを活用したペルソナ推定における一貫性を考慮した信頼性評価手法の提案

〇富田 佳紀¹、畠山 陽喜¹、前田 英作¹ (1. 東京電機大学)

キーワード：大規模言語モデル、ペルソナ、評価指標

特定の人物が作成したテキストデータを基に，その人物のペルソナを推定する研究は，これまで広く行われてきた．特に近年では，大規模言語モデル（LLM）の性能を活用したペルソナ推定手法が数多く提案されている．これらの手法の多くは，正解ラベルが付与されたデータに対する推定精度を指標として有効性を評価している．しかし，実世界で得られるテキストデータは，著者の性格特性と直接結びついていない場合がほとんどである．また，ペルソナ推定というタスクの性質上，QAタスクや算術タスクのように，辞書や計算機といった外部ツールを用いて正解を直接得ることは困難である．このような背景から，実世界におけるペルソナ推定の信頼性を評価するための指標が求められている．本研究では，利用可能なテキストデータを段階的に分割し，それらを入力として与えることで，推論の一貫性を測定する手法を提案する．実験結果により，提案手法で得られる値が推定結果の信頼性を示す指標として有用であることが示唆された．本研究は，LLMを用いたペルソナ推定能力の分析を進めるとともに，その実世界への応用可能性の検証に貢献する．