[1P4-OS-1b] データセットとベンチマークの技術的・社会的な視点

[1P4-OS-1b-03] 国産農業用LLMのための要点抽出方法に基づく評価手法の検討

〇石原 潤一¹、小林 暁雄¹、桂樹 哲雄¹、大友 将宏¹、橋本 祥²、阪本 浩太郎³、杉村 安都武⁴、米丸 淳一¹、川村 隆浩¹ (1. 農業・食品産業技術総合研究機構、2. 筑波大学、3. （株）BESNA研究所、4. 三重県農業研究所)

キーワード：大規模言語モデル、農業情報

農研機構は、内閣府「研究開発とSociety 5.0との橋渡しプログラム（BRIDGE）」における「AI農業社会実装プロジェクト」にて、農業分野に特化した日本語大規模言語モデル開発している。本研究では、三重県農業研究所より提供されたイチゴに関するマニュアル類を元にインストラクションデータを構築し、これを用いてElyza-8B モデルに対しインストラクションチューニングを施した。本システムは特定ドメインに特化しているため、抑えるべき専門知識や要点が回答に網羅されると好ましい。そこで、著者らは、これまでLLMによる述語項構造解析を用いた要点一覧の抽出と、それらを正解データとの含意関係認識をベースとしたLLM as a Judgeによる自動評価手法を提案してきた。しかしながら、この手法では、モデル出力がより具体的な要点を出力していた場合に、適切に含意関係を認識できないという問題があった。本稿では、人手による要点抽出データを新たに構築し、これを用いた自動評価に対する厳密な性能評価と評価手法の改良の方向性について議論を行う。