[4I1-GS-11] AIと社会：

[4I1-GS-11-03] Transformerモデルにおけるトークン間関連度の再配分

Layer-wise Relevance Propagationに基づいたモデルの説明可能性

〇澤木 陽人¹、村田 昇¹ (1. 早稲田大学)

キーワード：説明可能性、Transformer、XAI、Layer-wise Relevance Propagation

TransformerモデルのAttention機構は、各トークン間の関連度を重みとして、互いの中間特徴を統合することで情報処理が行われる。そのため、最終層のAttention重みはしばしばモデルの説明として用いられることがある。しかし、これは各層で行われるトークン間のパターン変換の影響を適切に考慮しておらず、入力トークンの寄与を正確に評価できないため、解釈性に限界がある。本研究では、Layer-wise Relevance Propagation（LRP）の考え方を拡張し、Attention機構におけるパターン変換の関連度をトークン間で再配分しながら入力トークンにまで引き戻す手法を提案する。この手法により、Attention weightの単純な観測とは異なり、パターン変換が行われる前の入力トークンの影響を定量化することが可能である。入力に基づく情報の影響を正確に把握し、モデルの内的動作をより直感的に理解するための枠組みによって、Transformerモデルの解釈可能性と透明性を高め、応用分野における信頼性の向上にも寄与することが期待される。