[3G5-GS-6] 言語メディア処理：

[3G5-GS-6-03] 対話システムにおける相槌の品質評価基準の検討および品質評価システム構築の試み

〇後藤 裕也¹、塩見 誠¹、蛭川 秀一¹、中邨 陽介¹、新庄 信次¹、吉田 茂人¹ (1. シャープ株式会社)

キーワード：大規模言語モデル、対話システム、生成AI、自然言語処理、あいづち

大規模言語モデル（ Large Language Model; LLM ）を用いた対話システムにおいて、即時応答性や共感性を向上させるためには、質の高い相槌を生成する技術が求められる。本研究では、対話システム開発を支援するため、相槌の品質を定量的かつ自動的に評価可能なシステムを構築した。 相槌の品質評価基準を検討するため、対話システムの会話台本を作成し、それに記載された相槌について一対比較法による主観評価を実施した。評価対象の相槌は、文脈との整合性、口調の一貫性、長さといった要素に基づきバリエーションを準備した。また、自動評価環境としてChatGPTを使用し、相槌の品質を採点するシステムを構築した。結果として、一対比較法による主観評価により、相槌のバリエーションに関するデータが得られ、文脈との整合性、口調の一致、長さについての人間的な評価尺度が明らかになった。また、自動評価システムによる結果と主観評価結果との相関について調査し、本自動評価システムの有効性を検討した。