[3L6-OS-32] Mechanistic Interpretability

[3L6-OS-32-03] 大規模言語モデルにおける地理表現の形成と訓練データの影響

〇大竹 啓永^1,2、大内 啓樹^1,3、尾崎 慎太郎^1,2、平岡 達也⁴、渡辺 太郎¹、宮尾 祐介^5,2、大関 洋平⁵、高木 優² (1. 奈良先端科学技術大学院大学、2. 国立情報学研究所 大規模言語モデル研究開発センター、3. 理化学研究所、4. MBZUAI、5. 東京大学)

キーワード：人工知能の説明可能性、人工知能の知識評価、地理ドメイン

大規模言語モデルは、地理分野の様々なタスクを解決する能力を実証しており、これらの能力は、内部の地理空間的世界モデルに基づいていることが示唆されている。しかし、これまでの研究では、主に英語中心のデータで学習させた少数のモデルのみを用いて、このような内部表現について検討されており、他の言語で学習させたモデルで地理空間表現がどのように出現するかは不明なままであった。本研究では、異なる言語のデータで事前訓練済みモデルにおいて、複数の地域の内部地理表現を調査する。我々の実験結果より、これらの世界モデルの特性は、訓練時に使用された言語に強く依存する可能性があることを示している。