[4Xin2] ポスターセッション2

[4Xin2-86] コーパスのドメインサンプリングによるLLM事前学習の効果について

〇小原 有以¹、相馬 菜生¹、梶浦 照乃¹、倉光 君郎¹ (1.日本女子大学)

キーワード：コーパス構築、言語モデル、事前学習

大規模言語モデル(LLM)は様々な業界に革新をもたらしている．その動きの中，特定のドメイン知識を持つドメインに特化したLLMを開発する動きが進められている．そのようなLLMの活用で，ドメインタスクの効率を向上させることが期待されている．特定ドメインに特化したLLMを構築するためには，対象ドメインに関連する大規模なコーパスが不可欠である．しかし，そのようなコーパスの収集は困難であり，時間とリソースが限られている研究環境において，顕著な課題となる．本研究の目的は，ドメインに関連するコーパスを効率的に構築する手法を開発することである．この目的のもと，我々は，ドメインサンプリングという手法を提案する．SentencePieceを用いてドメインの専門用語を多く含む語彙モデルを構築し，トークン化の結果に基づいてドメインに関連するコーパスをサンプリングする手法である．本手法を用いてコードに関連するコーパスを構築し，それを事前学習に用いて日本語対応の軽量コードLLMの構築を行なった．本手法で収集したコーパスをコードLLM学習に用いることで，日本語からのコード生成能力が向上したことを報告する．