[3S4-GS-2] 機械学習：

[3S4-GS-2-03] 進化的モデルマージにおける設計変数補間の評価

〇秋月 理緒¹、吉成 望¹、工藤 佑矢¹、広瀬 陽一¹、西本 暁道¹、内田 絢斗¹、白川 真一¹ (1. 横浜国立大学)

キーワード：大規模言語モデル、モデルマージ、進化的モデルマージ、進化計算

モデルマージは複数の深層学習モデルを追加の学習を必要とせずに統合する技術であり，複数の大規模言語モデル（LLM）を統合して複合的なタスクを解くための新たなLLMを得る技術として注目を集めている．モデルマージ手法は複数のマージパラメータを有しており，最適なマージパラメータを進化計算手法により探索する進化的モデルマージが提案されている．進化的モデルマージは人手による試行錯誤を低減することができる一方，マージ後のLLMの評価を繰り返す必要があり計算コストが高い．特にレイヤごとに別のマージパラメータを最適化する場合，最適化に十分な評価回数を確保することが難しい．そこで本研究では，設計変数補間を用いた進化的モデルマージに注目し，補間方法と最適化性能の影響を実験的に評価する．設計変数補間を用いた進化的モデルマージでは，レイヤごとのマージパラメータを最適化する代わりに，一部のレイヤに対応するマージパラメータのみを設計変数とし，その他のレイヤのマージパラメータを補間手法により計算する．評価実験により，設計変数補間を利用することでモデルの性能が改善することを確認した．