16:00 〜 16:20
[3E5-OS-11b-02] 生成AIを用いたパブリックコメントの自動評価手法の検討
キーワード：意味ある市民参加、LLM-as-a-Judge、パブリックコメント、環境基本計画
本研究では，市民意見が反映されるようパブリックコメント制度の実効性を向上させることを目指し，そこにおける対話の質を自動評価する手法を検討する．具体的には，第五次および第六次環境基本計画案に寄せられたパブリックコメントを対象に，意見とそれに対する行政応答の双方の質を，生成AIを用いて自動評価する枠組みを構築した．本手法では，ChatGPTに複数の観点から意見および応答の質の評価得点とその判断理由を生成させることで，検証や実用が可能な評価結果を得る．その上で，著者らによる評価得点と判断理由との整合性を検討することで手法の性能を測った．加えて，ChatGPTが出力した意見および応答の双方の対応について，Peasonの相関係数やクロス集計を用いて分析した．これにより，意見の項目間ならびに応答の項目間にそれぞれ相関が確認されたものの，意見と応答の関係性を説明するにはいたらなかった．しかしながら，本研究から少なくとも生成AIを用いてパブリックコメントの評価が可能であるという見解は提示された．したがって，本研究からは評価行為をともなう政策科学研究において生成AI応用の可能性と課題が示されたと言える．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。