[1L3-OS-34] OS-34

[1L3-OS-34-01] Aligning Japanese Large Language Models through Self-Improvement: An Empirical Study

〇Mitsuki Sakamoto¹, Yu Jinnai¹, Tetsuro Morimura¹, Kenshi Abe¹, Kaito Ariu¹ (1. CyberAgent)

Keywords:LLM, Alignment, RLHF, Reinforcement Learning, Self-Improving

大規模言語モデル (LLM) のアライメントは，モデルの出力を人間の選好に適合させるために不可欠である．しかし，高品質な選好データの収集は高コストで，LLMによるデータ合成が注目されている．既存研究の多くは英語中心で，非英語少データに対する合成手法はは明らかにされていない．本研究では，日本語のAnswer Carefullyデータセットを用い，自己学習 (self-improving learning) に基づく選好データの合成手法を比較した．実験の結果，CALM3を用いた自己合成手法は，報酬モデルを用いた合成手法と同等のアライメント効果を達成し，日本語少データ環境における有効性が示された．