[3Q5-IS-2b] Machine learning

[3Q5-IS-2b-02] Evaluating Japanese Language Proficiency in Large Language Models through Definition Modeling Techniques

〇Ran Li¹, Edison Marrese-Taylor^1,2, Yutaka Matsuo¹ (1. Graduate School of Engineering, The University of Tokyo, 2. National Institute of Advanced Industrial Science and Technology)

キーワード：LLM, Japanese, Definition Modelling

大規模言語モデル（LLM）の進歩に伴い、言語能力の評価分野において大きな進展が見られています。使用されている評価方法の中で、定義モデリングと呼ばれる自然言語処理の（NLP）タスクが頻繁に用いられています。このタスクでは、モデルに与えられた単語に対し、辞書のような定義を制御された条件下で生成させることにより、モデルの語彙理解能力を評価します。こうした取り組みの多くは英語に焦点を当てていますが、複雑な文字体系と曖昧な文法規則を持つ日本語はあまり探究されていません。本研究では、LLMの日本語能力を評価するために定義モデリングのタスクを用いることを提案します。我々は日本語の辞書データを集め、様々な設定において、異なるプロンプト技術の影響を探り、モデルの日本語能力を定性的に評価する仕組みを設計しました。