[3L6-OS-32] Mechanistic Interpretability

[3L6-OS-32-02] 文脈内学習による多段階回路の形成

〇峰岸 剛基¹、古田 拓毅¹、谷口 尚平¹、岩澤 有祐¹、松尾 豊¹ (1. 東京大学)

キーワード：文脈内学習、回路

LLMは，文脈に基づいて適応的に予測を行う 文脈内学習を示す．先行研究では，インダクションヘッドという内部回路が文脈内学習と関連づけられてきたが，これは文脈の中に答えが含まれているコピータスクでのみ分析されてきた．しかし，実際のLLMにおける重要な文脈内学習の特性は，文脈から答えを単にコピーするのではなく，タスクの解き方自体をメタ学習できる点であり，この能力がどのように訓練中に獲得されるかは十分に解明されていない．本論文では，モデル内部の回路を解析することで，メタ学習能力がどのように形成されるかを実験的に明らかにする．具体的には，文脈からタスクを推定してクエリに応答しなければならない文脈内メタ学習の設定を導入する．興味深いことに，この設定下では学習過程が複数のフェーズに分かれ，各フェーズごとに固有の回路が出現することがわかった．これはインダクションヘッドで見られた単一フェーズの変化とは異なる．さらに，こうした回路の出現は，大規模言語モデルで観察されるいくつかの現象と関連しており，本研究の分析はトランスフォーマーの 文脈内学習能力の根源をより深く理解するための手がかりとなる．