[2G1-GS-11] AIと社会：

[2G1-GS-11-02] コピーライターの思考プロセスを用いたFine-Tuning手法の提案および評価実験

○新納 大輔¹、佐々木 康晴¹、並河 進¹、廣瀬 大¹、山上 陽平¹、川田 琢磨¹、岸本 和也¹、小堀 友樹¹、新井 奈生¹、北 弘樹¹、白上 慎也²、福田 匡宏²、伊藤 拓哉²、阿部 由吾³、鶴岡 慶雅³、松原 仁³ (1. 株式会社電通、2. 株式会社電通デジタル、3. 東京大学 AI センター)

キーワード：大規模言語モデル、ファインチューニング、思考プロセス、創造的タスク、コンピュータ支援による共同作業

LLMを創造的タスクにおいて活用する際，専門的な知識が不足しているがゆえに満足のいく出力が得られないことがあった．そこで，コピーライターの思考プロセスをデータセットとして用いてファインチューニングを行うことで，出力物の評価がどのように変わるのかについて，ファインチューニングをしていないLLMの出力と比較することで検証した．条件付きではあるものの，ファインチューニング済みLLMでは総合評価が5%上昇し，下位項目評価である「時代性がある」が 24%，「チャーミングである」が 13%上昇した．