[2G5-GS-6] 言語メディア処理：

[2G5-GS-6-02] ChatGPTを用いたデータ拡張手法によるデータ不足時の大規模言語モデルの効率的評価

〇ZHU HANHUA^1,2 (1. フリー株式会社、2. 東京大学)

キーワード：大規模言語モデル、データ拡張、評価モデル、ChatGPT

近年、GPT-3を始め、大規模言語モデル（LLM）の開発が急速に進展し、自然言語処理（NLP）の分野で重要な役割を果たしている。しかし、LLMは複雑な文書を出力することが多いため、効率的に評価するための統一的な基準がまだ確立されていない。また、学習済みの言語モデル（LM）を用いた評価方法はコストが低いため広く用いられているが、学習データが不足すると精度が十分に得られない問題がある。本研究では、データが不足している場合のLMの精度問題を解決するため、ChatGPTを用いたデータ拡張手法を提案する。日本語の質問応答（QA）タスクにおいて実験を行った結果、文書のみが存在する場合、提案手法により生成した質問と答えを学習データとして用いたLMは、ChatGPT3.5を上回り、ChatGPT4の92%の評価精度を達成することができた。