[3Win5] ポスターセッション3

[3Win5-36] 連続的なトークンによるLLM間の対話

〇吉本 匠¹、磯沼 大^1,2,3、森 純一郎^1,4、坂田 一郎¹ (1.東京大学、2.エディンバラ大学、3.国立情報学研究所、4.理研 AIP)

キーワード：言語モデル、連続トークン

本研究では、大規模言語モデル間の対話における連続トークンの有効性について議論する。文章を生成する際、言語モデルはまずトークンの確率分布（連続トークン）を計算し、それに基づきトークンをサンプルする。通常の言語モデル間の対話では、このサンプルされたトークンを別の言語モデルに入力することで対話が行われるが、サンプルされたトークンではなく連続トークンを言語モデル間の入出力に用いることもできる。連続トークンを利用することで、各トークンの確率に関する情報がサンプル時に失われず、一方の言語モデルが持つ情報をより正確に伝達することができるか検証する。言語モデル間の対話による問題解決タスクにおいて、通常のトークンによる対話に比べ、連続的なトークンを用いた場合に問題解決精度が向上することを明らかにする。