[3Win5] Poster session 3

[3Win5-88] Question Answering on Time-Series Tables Using LLMs

Evaluating the Influence of Table Characteristics on Performance

〇Naoko Oshiro¹, Sora Shiraishi¹, Afiqah Adilla¹, Anqi Zhu¹, Akihiro Takemura¹ (1.INTAGE Inc.)

Keywords:LLM, Table QA, dataset

近年、大規模言語モデル（LLM）の表形式データの処理能力が大幅に向上しており、表に対する質問応答タスク（Table QA）などの応用研究が行われている。しかし、参照する表のサイズ、含まれる値が精度に与える影響を評価するためのデータセットは十分に整備されていない。そこで本研究では、表サイズが大きく桁数にばらつきがある時系列表(時系列データが含まれた表)を用いて、Table QAのデータセットを作成し、精度を評価することで、表の特徴が精度に与える影響を明らかにした。データセットは、様々なサイズ、形状、桁数、そして時系列の方向（時系列データが表内で縦方向に記録されているか横方向に記録されているか）を網羅するように人工的に作成した。最先端のLLMで評価した結果、最も精度に大きな影響を与えたのは表のサイズであり、次いで桁数、形状の順であった。時系列データの方向はほぼ精度に影響がないことがわかった。