[1L3-OS-34] AIアライメント

[1L3-OS-34-01] 日本語大規模言語モデルの自己学習によるアライメントの実験評価

〇坂本 充生¹、陣内 佑¹、森村 哲郎¹、阿部 拳之¹、蟻生 開人¹ (1. 株式会社サイバーエージェント)

キーワード：大規模言語モデル、アライメント、人間評価からの強化学習、強化学習、自己学習

大規模言語モデル (LLM) のアライメントは，モデルの出力を人間の選好に適合させるために不可欠である．しかし，高品質な選好データの収集は高コストで，LLMによるデータ合成が注目されている．既存研究の多くは英語中心で，非英語少データに対する合成手法はは明らかにされていない．本研究では，日本語のAnswer Carefullyデータセットを用い，自己学習 (self-improving learning) に基づく選好データの合成手法を比較した．実験の結果，CALM3を用いた自己合成手法は，報酬モデルを用いた合成手法と同等のアライメント効果を達成し，日本語少データ環境における有効性が示された．