[3Win5] Poster session 3

[3Win5-17] Facilitating cross-lingual transfer through model merging in code generation capability

〇Noriko Nakano¹, Yuha Nishigata¹, Waka Ito¹, Nao Souma¹, Miyu Sato¹, Kimio Kuramitsu¹ (1.Japan Women’s University)

Keywords:Model Merge, Transfer Learning, Cord Generation

コード生成は、人気の LLM 応用のひとつであるが、日本語プロンプトに対して出力されるコードをみると、どこからこの知識を獲得したのだろうかと不思議に思ったことはないだろうか？実際に、プログラミングに関する専門知識の大半は英語で提供されており、日本語の言語資源のみで十分な知識を獲得するのは困難である。何かしら英語で学んだ知識を日本語から活用する仕組みが働いている、つまり言語間転移が考えられる。しかし言語間転移は原理やメカニズムに未知な部分が多く、特に有効的に促進させる方法がわかっていない。本研究は、モデルマージ手法に焦点をあて、モデルマージがどのようにコード生成の言語間転移を促進するか調査を行なった。