[1S4-GS-2] 機械学習：

[1S4-GS-2-02] Task Analogiesにおけるモデル線形化の有効性の検証

吉田 晃太朗¹、〇堀江 孝文²、楢木 悠士、清水 良太郎^3,4、山木 良輔^2,5、長沼 大樹^6,7,5 (1. 東京科学大学、2. 立命館大学、3. ZOZO研究所、4. カリフォルニア大学サンディエゴ校、5. 株式会社Proplace、6. Mila、7. モントリオール大学)

キーワード：Task Arithmetic、Task Analogies、ファインチューニング

本研究では、モデル編集における Task Analogies を強化する上で、モデル線形化の有効性を検証する。Task Analogiesは、word2vecに見られるようなanalogy構造をパラメータ空間で再現し、異なるタスクにFinetuningされたモデルを活用して、新たなタスクへの適応のための効率的なモデル編集を目的としている。しかし、従来のFinetuningを用いたTask Analogiesでは高い性能を達成できない事が知られている。
これまでの先行研究における課題として、関数空間とパラメータ空間の非線形な対応関係により、パラメータ空間におけるanalogy構造を関数空間では保証する事ができない。本研究では、モデルの線形化を Task Analogies に適用し、これらのanalogy構造の関数空間への転移可能性を検証する。