[3S4-GS-2] 機械学習：

[3S4-GS-2-02] トークン埋め込みの内在次元を測る

〇片岩 拓也¹、趙 羽風²、大木 哲史^1,3 (1. 静岡大学、2. 北陸先端技術大学院大学、3. 理研AIP)

キーワード：埋め込み、機械論的解釈可能性、内在次元

本稿では，言語の埋め込み表現である単語ベクトルや埋め込み層について，表現に必要十分な次元である内在次元 (Intrinsic Dimension; ID) を計測し，その冗長度合いを定量評価する．具体的には，(1) Word2Vec や GloVe などの小規模モデルの埋め込みが持つIDを推定し，(2) Pythiaシリーズを代表とする大規模言語モデルの埋め込み層における ID をスケール別・学習過程別に解析する．実験の結果，埋め込み空間が外在次元に比べ低い次元の多様体上に分布する傾向が見られた．また，モデル規模の拡大に伴う冗長率の変化や，学習初期において ID が急速に収束する傾向が観察された．また，推定されたIDがLoRA適用時のランク選択に有効な可能性を示した．