[4Xin2] ポスターセッション2

[4Xin2-43] コード生成タスクにおけるプロンプトの指示形式の差異が与える性能分析

〇伊東 和香¹、佐藤 美唯¹、髙野 志歩¹、倉光 君郎¹ (1.日本女子大学)

キーワード：大規模言語モデル、コード生成、プロンプト

コードLLMの開発において、instruction tuningがコードLLMの強化に効果的であることがわかっている。instruction tuningは指示を追加学習することで汎化性能を向上させる手法であるが、どのような指示形式が最適であるかについて様々な見解がなされており、明らかになっていない。本研究の目的は、コードLLMのinstruction tuningの効果を高めるため、指示形式の違いがコード生成性能に与える影響の調査を行うことである。指示形式として、コードの抽出に用いられる出力形式に特に着目し、実験を行った。また、実験結果の可視化を行った。結果より、出力形式の違いによるモデルのコード生成の性能差を明らかにし、Markdown形式が最も汎用性に優れていることを明らかにした。また、出力形式の指定なしよりも、出力形式の指定ありの正答率が高いことを明らかにした。