[3Xin2] ポスターセッション1

[3Xin2-77] 大規模言語モデルの日本語実践的評価：JGLUEとITパスポート試験を用いた比較分析

〇羽中田 将¹ (1.GMOメディア株式会社)

キーワード：人工知能、大規模言語モデル、情報技術

本研究では、ITパスポート試験とJGLUEを用いて、IT領域における大規模言語モデル（LLM）の有用性を評価し、専門分野がLLMの精度にどのような影響を与えるかを検討した。実験の結果、ある種のLLMはIT領域で一定の精度を達成できるが、JGLUEのように一般的な知識を問うタスクで高い精度を示すモデルは、IT問題では苦戦する傾向があることがわかった。しかし、ITスキルの低いLLMであっても、プロンプトに事前情報としてヒントを与えることで、ほとんどのモデルの精度を向上させることができることがわかった。また、プロンプトへの依存度もLLMの成績に影響し、特にプロンプトの指示に忠実に正解したモデルは少し高い精度を達成できたが、プロンプトへの依存度が低いにもかかわらず精度が向上したモデルもあった。このことから、プロンプトへの依存度と推論能力の間には必ずしも直接的な関係がないことが示唆された。