Recent-Biased Causal Attention を用いた時間系列予測

arXiv:2502.06151v2 発表タイプ：置換 要約：近接バイアス（Recency Bias）は、シリアーズなモデリングにおいて有用な帰納的事前知識です：それは近傍の観察を強調し、長期的な依存関係も依然として許容できます。標準的な Transformer アテンションはこの特性に欠け、全体対全体の相互作用に依存しており、時系列データの因果的かつ局所的な構造を見落としがちです。我々は、滑らかな重尾減衰を用いてアテンションスコアを再重み付けすることで、近接バイアスを導入する単純なメカニズムを提案します。この調整は、局所的な時系列依存関係を強化しつつ、より広範でデータ特異な相関を捉える柔軟性を損なわないようにします。我々は、近接バイアス付きのアテンションがシリアーズなモデリングを一貫して改善し、RNN の読み取り、無視、書き込み操作と Transformer をより密接に一致させることを示しました。最終的に、私々のアプローチが困難な時間系列予測のベンチマークにおいて競争力あり、あるいは優れた性能を発揮することを示しました。

arXiv:2502.06151v2 Announce Type: replace Abstract: Recency bias is a useful inductive prior for sequential modeling: it emphasizes nearby observations and can still allow longer-range dependencies. Standard Transformer attention lacks this property, relying on all-to-all interactions that overlook the causal and often local structure of temporal data. We propose a simple mechanism to introduce recency bias by reweighting attention scores with a smooth heavy-tailed decay. This adjustment strengthens local temporal dependencies without sacrificing the flexibility to capture broader and data-specific correlations. We show that recency-biased attention consistently improves sequential modeling, aligning Transformer more closely with the read, ignore, and write operations of RNNs. Finally, we demonstrate that our approach achieves competitive and often superior performance on challenging time-series forecasting benchmarks.