[1Win4] Poster session 1

[1Win4-09] The Impact of Parameters on Methods for Integrating Large Language Models and Cognitive Models

〇Ayu Iida¹, Masahiko Osawa¹ (1.Nihon University)

Keywords:Large Language Model, Cognitive Model, Mind Model of Others, Theory of Intention, Theory of Mind

著者らによる先行研究では大規模言語モデル(LLM)と人の認知プロセスのモデルである認知モデル(CM)を統合することで，LLMが苦手である"意図を踏まえた発話"を生成できることを示した．具体的には，認知モデルに大規模言語モデルを組み込むLLM Embedded in CM(LEC)と大規模言語モデルに認知モデルを組み込むCM Embedded in LLM(CEL)という2種類の統合手法を提案した．また実験の結果LECが他者の意図を踏まえた応答をすることに優れていた．しかし，先行研究ではChatGPTを利用して実験を行っており，LLMのパラメータによる影響を調べることができなかった．本研究では，OpenAI社が提供するgptのAPIを用いて実験を行い，パラメータによって意図を踏まえた応答の性能がどのように変化するかを調べた．実験では，LLMのバージョンを固定した上でTemperature，Top P，Max tokensの3つのパラメータをそれぞれ変化させ，発話生成の成功率を比較した．結果，著者らが提案したLECが一貫して成功率が高く，LECがどのパラメータにおいても高い性能を持つことが示唆された．