[1B3-GS-2] 機械学習：生成モデル

[1B3-GS-2-03] 大規模言語モデルの論理構造の把握能力と予測モデルの生成

〇田中 冬馬¹、江本 直史¹、弓林 司¹ (1. 株式会社ブレインパッド)

キーワード：大規模言語モデル、教師あり学習、メタ学習

この研究の目的は, 大規模言語モデル（LLMs）が論理構造を理解する能力（Ability to Understand the Logical Structure: AULS）を理解することである. 本論文では, まず, In-Context Learning（ICL）に触発されて開発された「帰納バイアス学習（IBL）: Data Set2Code Model」という方法を紹介する. 次に, 以前の研究で取り上げられていないGPT-4-Turbo, GPT-3.5-Turbo, およびGemini Proなどの複数のモデルにIBLを適用し, それらが生成する予測モデルの精度と特性を比較検討する. その結果, すべてのモデルがIBLの能力を持っていることが示された. 特に, GPT-4-Turboは従来のGPT-4と比較して顕著な精度向上を達成した. さらに, GPT-NとGemini Proが生成する予測モデルの性能のばらつきに差があることが明らかになった.