[2Win5] ポスターセッション2

[2Win5-79] LLMを用いた多クラス分類における少数ショット学習のサンプル選択に関する検討

〇福本 拓也¹、白水 優太朗¹、藤本 拓¹、吉村 健¹ (1.株式会社NTTドコモ)

キーワード：大規模言語モデル、分類

近年大規模言語モデル(LLM)を用いたテキスト分類が注目を集めている。LLMを用いた分類で一般的な手法は、Few-shot 学習を用いる手法である。これは、"分類カテゴリの定義"、"分類対象テキスト"をプロンプトに入力することでLLMに分類させるZero-shot学習手法に、分類カテゴリごとに"分類例"(サンプル)を追加すること分類精度を向上させた手法である。ただし、Few-shot学習による分類は、分類カテゴリ数が増えることでサンプル数も増えるため、実行時間と実行コストが増加してしまう課題を持つ。
　従来、Few-shot学習は全カテゴリに同数のサンプルを入力する手法が主流であるが、タスクによってはカテゴリごとに精度の優先度が異なる場合がある。
　そこで本研究では、サンプルのカテゴリを偏らせることによる精度への影響を検証した。実験の結果、Zero-shot分類で精度が低かったカテゴリへサンプルを偏らせることでFew-shot分類での該当カテゴリの精度が向上された。また、サンプルのトークン数による精度比較も行い、トークン数が比較的少ないサンプルでもFew-shot分類では有効であることを示した。