[1Win4] ポスターセッション1

[1Win4-09] 大規模言語モデルと認知モデルの統合手法に関するパラメータの影響調査

〇飯田 愛結¹、大澤 正彦¹ (1.日本大学)

キーワード：大規模言語モデル、認知モデル、他者モデル、意図の理論、心の理論

著者らによる先行研究では大規模言語モデル(LLM)と人の認知プロセスのモデルである認知モデル(CM)を統合することで，LLMが苦手である"意図を踏まえた発話"を生成できることを示した．具体的には，認知モデルに大規模言語モデルを組み込むLLM Embedded in CM(LEC)と大規模言語モデルに認知モデルを組み込むCM Embedded in LLM(CEL)という2種類の統合手法を提案した．また実験の結果LECが他者の意図を踏まえた応答をすることに優れていた．しかし，先行研究ではChatGPTを利用して実験を行っており，LLMのパラメータによる影響を調べることができなかった．本研究では，OpenAI社が提供するgptのAPIを用いて実験を行い，パラメータによって意図を踏まえた応答の性能がどのように変化するかを調べた．実験では，LLMのバージョンを固定した上でTemperature，Top P，Max tokensの3つのパラメータをそれぞれ変化させ，発話生成の成功率を比較した．結果，著者らが提案したLECが一貫して成功率が高く，LECがどのパラメータにおいても高い性能を持つことが示唆された．