[3Xin2] ポスターセッション1

[3Xin2-08] キャラクターを設定したLLM対話生成におけるfine-tuneおよびfew shot promptの効果

〇小澤 菜々美¹、狩野 芳伸¹ (1.静岡大学)

キーワード：生成AI、ファインチューニング、キャラクター

LLM（大規模言語モデル）の登場により対話型AI が大きく注目を集めている。本研究では、プロンプトエンジニアリング、SFT（Supervised Fine Tuning）、RLHF（Reinforcement Learning from Human Feedback）の手法を使用し、どの程度の質と量のデータでLLMを訓練することで、キャラクター設定に逸脱しない対話を生成できるかを検証した。またキャラクター設定にSFTやRLHFで用いた学習データとは矛盾する内容を書いたときの応答生成を実験した。その結果、期待するような名前の出力を学習データ内外から行えることが確認できた。RLHFをすることでキャラクター設定に逸脱をせずに学習データにある名前を出力することが確認できた。キャラクター設定にSFTやRLHFで用いた学習データとは矛盾する内容を与えた場合、SFTやRLHFの学習よりも、キャラクター設定やFew Shot Promptの影響をより強く受けることが示唆された。