[3G6-GS-6] Language media processing:

[3G6-GS-6-03] Improving Response Delays in Voice Dialogue System Using Cutoff Decision Based on Cosine Similarity of Embedding Representations

〇Hikaru Kamioka¹, Satoshi Maeda¹, Masayuki Hashimoto¹ (1. Toyo University)

Keywords:Voice Dialogue System, Response Delay, Cosine Similarity, Large Language Model

音声対話システムにおける応答遅延を削減するために，ユーザの発話を途中で打ち切り，不完全な発話文に対して大規模言語モデル(LLM)で応答文を作成する手法について検討した．LLMの応答性能(応答内容が妥当である割合)には，テキストの意味的な類似性の変化が関わっていると考えられる．そこで，その変化に応じた打ち切りポイントを決定するための手法を3つ提案し，それらの有効性を示した．その結果，提案した打ち切り判定手法Ⅰ(微分量による判定)では，Temperatureを0.7にした場合にLLMの応答性能を80[%]以上に保ったまま，平均で10.7文字の日本語を削減することができた．また，LLMの応答性能を75[%]程度に妥協した場合は，提案した打ち切り判定手法Ⅲ(微分量による判定の後にマージンnを設けた判定)において，平均で16.4文字の日本語を削減することができた．日本語の発声速度は，1秒当たり6文字になるので，LLMの応答性能を80[%]以上に保つ場合は約1.8秒，LLMの応答性能を75[%]程度に妥協した場合は約2.7秒に相当し，これと同程度の応答遅延を短縮することができると考えられる．