[3E5-OS-11b] OS-11

[3E5-OS-11b-02] Examination of an Automated Evaluation Method of Public Comments Using Generative AI

〇Kohei Ishii¹, Akihiro Kameda², Naoki Kokaze³, Hidehumi Kurasaka⁴ (1. Graduate School of Humanities and Studies on Public Affairs, Chiba University, 2. National Institutes for the Humanities, 3. Graduate School of Humanities, Chiba University, 4. Graduate School of Social Sciences, Chiba University)

Keywords:Meaningful Public Participation , LLM-as-a-Judge, Public Comments, Basic Environmental Plans

本研究では，市民意見が反映されるようパブリックコメント制度の実効性を向上させることを目指し，そこにおける対話の質を自動評価する手法を検討する．具体的には，第五次および第六次環境基本計画案に寄せられたパブリックコメントを対象に，意見とそれに対する行政応答の双方の質を，生成AIを用いて自動評価する枠組みを構築した．本手法では，ChatGPTに複数の観点から意見および応答の質の評価得点とその判断理由を生成させることで，検証や実用が可能な評価結果を得る．その上で，著者らによる評価得点と判断理由との整合性を検討することで手法の性能を測った．加えて，ChatGPTが出力した意見および応答の双方の対応について，Peasonの相関係数やクロス集計を用いて分析した．これにより，意見の項目間ならびに応答の項目間にそれぞれ相関が確認されたものの，意見と応答の関係性を説明するにはいたらなかった．しかしながら，本研究から少なくとも生成AIを用いてパブリックコメントの評価が可能であるという見解は提示された．したがって，本研究からは評価行為をともなう政策科学研究において生成AI応用の可能性と課題が示されたと言える．