[3Win5] Poster session 3

[3Win5-36] Interaction between LLMs using continuous tokens

〇Takumi Yoshimoto¹, Masaru Isonuma^1,2,3, Junichiro Mori^1,4, Ichiro Sakata¹ (1.The University of Tokyo, 2.The University of Edinburgh, 3.National Institute of Informatics, 4.RIKEN)

Keywords:Language model, Continuous token

本研究では、大規模言語モデル間の対話における連続トークンの有効性について議論する。文章を生成する際、言語モデルはまずトークンの確率分布（連続トークン）を計算し、それに基づきトークンをサンプルする。通常の言語モデル間の対話では、このサンプルされたトークンを別の言語モデルに入力することで対話が行われるが、サンプルされたトークンではなく連続トークンを言語モデル間の入出力に用いることもできる。連続トークンを利用することで、各トークンの確率に関する情報がサンプル時に失われず、一方の言語モデルが持つ情報をより正確に伝達することができるか検証する。言語モデル間の対話による問題解決タスクにおいて、通常のトークンによる対話に比べ、連続的なトークンを用いた場合に問題解決精度が向上することを明らかにする。