[2Win5] Poster session 2

[2Win5-07] A Transformer Model for Time Series Forecasting Based on Nonlinear Correlation Coefficient

〇Daichi Kimura^1,2, Tomonori Izumitani¹, Hisashi Kashima² (1.NTTCommunications, 2.Kyoto Univ.)

Keywords:Attention, TimeSeriesForecasting, Transformer, Nonlinear

時系列予測のための様々なTransformerベースのモデルが提案されてきた. これらのモデルは, Attentionメカニズムを活用して, 系列内の長期依存関係を捉えることを目的としている. そのために, 主にAttentionの計算コストを削減するか, 入力データを変換してAttentionを直接利用することに焦点をあてている. 一方で, 多くの時系列データにはそのダイナミクスや変数間の関係に非線形性が内在しており, このような非線形関係を捉えることが, タスクをうえで際に重要である. 本研究では, Chatterjeeによって提案された非線形相関係数をベースとしたAttentionメカニズムを提案する. この相関係数は2変数間の非線形な関係を測ることが可能である. 提案手法をiTransformerモデルに組み込み, ベンチマークデータセットでの検証を行った. その結果, 提案手法が予測精度の点でiTransformerを含む既存のTransformerベースのモデルを上回ることを示し, Attentionにおいて非線形な関係を考慮することの有用性を実証した.