[4Xin2] ポスターセッション2

[4Xin2-30] 逆翻訳によるコード文書生成の実行ベース評価法

〇髙野 志歩¹、佐藤 美唯¹、伊東 和香¹、秋信 有花²、川口 貴子²、倉林 利行²、丹野 治門²、倉光 君郎¹ (1.日本女子大学、2.NTTソフトウェアイノベーションセンタ)

キーワード：大規模言語モデル、逆翻訳、実行ベース評価、自動評価ツール

ソフトウェア開発において，コード文書はソフトウェアの理解と維持に必要不可欠である．人手によるコード文書の作成と維持にはコストがかかるため，LLMを用いたコード文書の自動生成が期待されている．しかし，従来の字句ベース評価では意味的な解釈を考慮できず，参照テキストの準備にも高いコストがかかるという課題がある．
この課題を解決するため，本研究では逆翻訳による実行ベース評価法を提案する．提案手法では生成されたコード文書からコードを逆翻訳し，その実行結果をベースにコード文書の評価を行う．このプロセスにより，意味的な解釈や同義語，表現の多様性を含む評価が可能となる．
本稿では，提案手法を実装した自動評価ツールlm-chaineval-harnessの紹介と，提案手法の検証実験について報告する．我々の開発するlm-chaineval-harnessでは，ユーザーが手軽に評価を行える環境を提供する．実験から，提案手法は従来の字句ベース評価と比較して，意味的な解釈を含めた評価が可能であり，同義語や表現の多様性を考慮できることが定性的に示された．