[1J5-OS-10c] 大規模言語モデルとデータサイエンス

[1J5-OS-10c-05] 国会答弁案作成システムにおける生成AIの活用

「対北朝鮮外交」を題材とした実装の検討

〇原田 武夫^1,2,3 (1. 株式会社原田武夫国際戦略情報研究所、2. 東京大学大学院工学研究科道徳感情数理工学社会連携講座、3. 学習院女子大学国際文化交流学部)

キーワード：大規模言語モデル、生成AI、政治、外交、北朝鮮

人口減少を踏まえ、我が国行政の効率化が叫ばれる中、2023年初夏以降、国会審議における政府答弁案の作成に際し、生成AIを用いるべきであると議論されつつも、その検討状況は不透明なままである。国会会議録検索システムが一般公開されており、答弁案作成システムに実装すべきコーパスの欠如・不足は課題ではない。国会答弁案作成システムに関する先行論文は存在しない中、AI研究者と国会答弁案作成の実務経験者による共同研究も管見の限り存在しない。本論文では、12年間にわたり外務公務Ｉ種職員であった経験を持つ筆者自身が実際に答弁作成の一翼を担った我が国外務省による「対北朝鮮外交」関連の政府側答弁（2003年1月～2005年3月）と、同一の質問につき国会会議録検索システム検索用APIとLangChain、並びにgpt-3.5-turboを用いて作成した生成文とを比較した。BERTScore（f1）は0.7未満に止まり、目視によっても対北朝鮮外交に特有な微細なニュアンスを表現出来ていないことが判明した。これらは生成AIの構造に基づく問題と考えられ、行政の効率化に対し大きな課題を投げかけている。