[2L4-GS-1] 基礎・理論：

[2L4-GS-1-01] LLMにおける創発の理論

〇一色 智裕¹ (1. ファイナンシャルテクノロジーシステム株式会社)

キーワード：ニューラルネットワーク、学習、理論、創発

近年のAIの中心の一つにLLMがある。このLLMでは、学習データや計算資源の増加に伴い、ある一定の閾値を超えた際に、予想外の新しい能力を獲得する現象がみられる。この現象を創発という。この創発は、従来の技術的な理解を超えるものであり、多くの研究者たちがそのメカニズムを解明しようと試みている。
そこで本研究でも創発のメカニズムを解明することを目的とし、この創発の起きるメカニズムを数学的に議論する。
具体的に記すと、LLMはニューラルネットワークであり、ニューロ多様体のの性質を持つ。そこで本研究ではニューロ多様体に適用できる数学の理論を用いることで、上記条件において創発が起こりうることを示す。