[3Win5] ポスターセッション3

[3Win5-88] LLMを用いた時系列表に対する質問応答

表の特徴が性能に与える影響の評価

〇尾城 奈緒子¹、白石 空¹、アフィカ アディラ¹、朱 安琪¹、竹村 彰浩¹ (1.株式会社インテージ)

キーワード：大規模言語モデル、表質問応答、データセット

近年、大規模言語モデル（LLM）の表形式データの処理能力が大幅に向上しており、表に対する質問応答タスク（Table QA）などの応用研究が行われている。しかし、参照する表のサイズ、含まれる値が精度に与える影響を評価するためのデータセットは十分に整備されていない。そこで本研究では、表サイズが大きく桁数にばらつきがある時系列表(時系列データが含まれた表)を用いて、Table QAのデータセットを作成し、精度を評価することで、表の特徴が精度に与える影響を明らかにした。データセットは、様々なサイズ、形状、桁数、そして時系列の方向（時系列データが表内で縦方向に記録されているか横方向に記録されているか）を網羅するように人工的に作成した。最先端のLLMで評価した結果、最も精度に大きな影響を与えたのは表のサイズであり、次いで桁数、形状の順であった。時系列データの方向はほぼ精度に影響がないことがわかった。