[3G6-GS-6] 言語メディア処理：

[3G6-GS-6-03] 埋め込み表現のコサイン類似度を用いた打ち切り判定による音声対話システムの応答遅延の改善

〇上岡 光¹、前田 聡¹、橋本 真幸¹ (1. 東洋大学)

キーワード：音声対話システム、応答遅延、コサイン類似度、大規模言語モデル

音声対話システムにおける応答遅延を削減するために，ユーザの発話を途中で打ち切り，不完全な発話文に対して大規模言語モデル(LLM)で応答文を作成する手法について検討した．LLMの応答性能(応答内容が妥当である割合)には，テキストの意味的な類似性の変化が関わっていると考えられる．そこで，その変化に応じた打ち切りポイントを決定するための手法を3つ提案し，それらの有効性を示した．その結果，提案した打ち切り判定手法Ⅰ(微分量による判定)では，Temperatureを0.7にした場合にLLMの応答性能を80[%]以上に保ったまま，平均で10.7文字の日本語を削減することができた．また，LLMの応答性能を75[%]程度に妥協した場合は，提案した打ち切り判定手法Ⅲ(微分量による判定の後にマージンnを設けた判定)において，平均で16.4文字の日本語を削減することができた．日本語の発声速度は，1秒当たり6文字になるので，LLMの応答性能を80[%]以上に保つ場合は約1.8秒，LLMの応答性能を75[%]程度に妥協した場合は約2.7秒に相当し，これと同程度の応答遅延を短縮することができると考えられる．