[4Xin1] ポスターセッション2

[4Xin1-11] 大規模言語モデルによる高品質反論文の自動生成

〇尾崎 大晟¹、中川 智皓^1,5、内藤 昭一^2,3、井之上 直也^4,5、山口 健史³、新谷 篤彦¹ (1.大阪府立大学、2.株式会社リコー、3.東北大学、4.北陸先端科学技術大学、5.理化学研究所)

キーワード：自然言語処理、人工知能、論述評価、文章生成、大規模言語モデル

教育現場をはじめ，批判的思考力の育成が求められている．議論における適切な反論例を被教育者に示すことは重要である．しかし，教育者が多様な反論例を考えたり，評価したりすることは負担が大きい．そこで本研究では，批判的思考力育成に有効かという観点から，昨今注目を浴びている大規模言語モデルであるGPT-3と，オンラインディベートフォーラムの議論を用いて，自動生成される反論文の品質評価，及びGPT-3を活用する上での生成文の高品質化可能性の検証考察をすることを目的とする．収集した議論例からGPT-3へのプロンプトを作成し，トピック毎に生成文をまとめ，収集した反論と生成した反論の同項目でのスコアリングによる人手での評価と，BERTScoreによる文章一致率評価をする．結果として「反論文単体での論理の正しさ」と「立論に対しての反論文になっているか」の項目において高い数値を得た．また生成した反論は収集した反論とBERTScore上高い類似度であることを示した．各評価項目毎の入力文と生成文の比較，並びに入力方式毎の生成の相違点，今後の課題について報告する．