Japan Association for Medical Informatics

[2-A-2-02] Constructing Large Language Models with Domain Adaptation

*Akiko Aizawa1 (1. National Institute of Informatics)

large language models, domain adaptation, biomedical natural language processing

大規模言語モデルの登場によって、人間の言語を扱うAI技術は飛躍的な進歩を遂げた。特に、与えられた入力文に対して最適な応答を予測する生成系モデルは、検索、推薦、要約、質疑応答などの多様なタスクを対話的に実行することが可能で、その汎用性は従来のAIシステムとは一線を画すものである。大規模言語モデルには膨大な文書から獲得した情報が埋め込まれており、プログラムコードや構造化文書を含む多様なスタイルにも対応できる。さらに画像、音声、データなどの異なるモダリティへの拡張、行動シーケンスの自動生成によるエージェントやロボットの制御など想定される応用範囲は広い。一方で、大規模言語モデルは構築に膨大なコストがかかることが知られている。また、社会バイアスや情報の正確さなど様々な問題点に対応するためには、適応言語や分野にあわせた調整が必要である。本発表では、日本語を中心とした大規模言語モデルの構築の試みについて、国内の自然言語処理研究者を中心とした活動状況を踏まえながら紹介する。まず大規模言語モデルの仕組みや構築のフローを概観し、次にドメイン適応の方法を簡単に述べる。また、生物医学などの学術分野を想定しながら、知識の抽出・検索および活用に関する研究の最新動向を紹介する。