[3B5-TS-5] Tutorial 5

[3B5-TS-5-01] Tutorial

岩澤 有祐¹ (1. 東京大学)

2021年頃に登場した基盤モデル (Foundation Model) は，従来のように個別のタスクに仕立てたモデルを作るのではなく，単一のモデルを多様な後続タスクに適用可能となっている深層学習のパラダイムを表した言葉である．この傾向が特に顕著なのは言語（GPT-3，PaLMなど）であるが，マルチモーダル領域におけるImagenやCLIP，強化学習領域におけるGato，RT-1など多様な領域で同様のアプローチを取った研究が行われている．基盤モデルは一般にデータ・モデル両面のスケールと同時に説明されることも多く，モデルサイズ・計算量・データサイズと性能の関係に関する経験則（Scaling Law）や，モデル規模が拡大した際にのみ発現する能力 (Emergent Law) の存在などが報告されている．本講演ではこれらの技術的な動向について概観し，今後の展望について述べる．