[3Win5] ポスターセッション3

[3Win5-105] LLMのコード理解を定量化する決定表評価とその適用可能性の検討

〇櫻 崇史¹、曾我 遼¹、鹿糠 秀行¹ (1.日立製作所)

キーワード：LLM、コード理解、決定表

LLMによるコード生成やバグ修正には、生成プログラムを正しく理解・検証する力が重要だが、既存評価は人間が用意した限られた入力と実行順序を基準とし、網羅的な入力条件設計能力を測れていない。本研究はソフト開発で用いられる決定表を活用し、LLMの制御フロー理解と入力条件網羅性を評価する手法を提案する。実験では小規模関数で高精度を示す一方、大規模関数で抜けや誤りが増え、限界が明らかになった。今後はより多くのプログラムを用い、LLMの制限要因を解明し改良指針を探る。