Disentangled Parameter-Efficient Linear Model for Long-Term Time Series Forecasting

arXiv:2411.17257v2 Announce Type: replace 摘要：長期的時系列予測（LTSF）は多種多様な分野において重要な役割を果たしていますが、変換器などの複雑な深層モデルは、長序列において過学習しやすい傾向があります。フル接続線形モデルは、パラメータが少ないにもかかわらず競争力のある結果を達成することで、強力な代替手段として台頭してきました。しかし、それらは単一の巨大な重み行列に依存しており、二乗のパラメータ冗長性と時間的特性と周波数特性の絡み合いを招いています。これを解決するために、我々はこの単一のマッピングを、専門的でパラメータ効率的なモジュールの列に分解する新しいモデル、DiPE-Linearを提案しました。DiPE-Linearは3つの主要なコンポーネントを特徴としています：重要な周波数を優先する静的な周波数付注意（Static Freqential Attention）、主要な時間ステップに焦点を当てる静的な時間付注意（Static Time Attention）、そして独立して周波数成分を処理する独立した周波数マッピング（Independent Freqential Mapping）。また、多変量データに対して効率を高めるために、低階行列重み共有ポリシーを採用しています。この分解されたアーキテクチャは、パラメータの複雑性を二乗から線形へ、計算の複雑性を対数線形へと軽減します。実世界のデータセットを用いた実験结果表明、DiPE-Linearは非常に少数のパラメータで、最先進のパフォーマンスを提供しており、LTSFの新しい非常に効率的な基盤標準を確立しました。当社のコードは https://github.com/wintertee/DiPE-Linear/ で利用可能です。

arXiv:2411.17257v2 Announce Type: replace Abstract: Long-term Time Series Forecasting (LTSF) is crucial across various domains, but complex deep models like Transformers are often prone to overfitting on extended sequences. Linear Fully Connected models have emerged as a powerful alternative, achieving competitive results with fewer parameters. However, their reliance on a single, monolithic weight matrix leads to quadratic parameter redundancy and an entanglement of temporal and frequential properties. To address this, we propose DiPE-Linear, a novel model that disentangles this monolithic mapping into a sequence of specialized, parameter-efficient modules. DiPE-Linear features three core components: Static Frequential Attention to prioritize critical frequencies, Static Time Attention to focus on key time steps, and Independent Frequential Mapping to independently process frequency components. A Low-rank Weight Sharing policy further enhances efficiency for multivariate data. This disentangled architecture collectively reduces parameter complexity from quadratic to linear and computational complexity to log-linear. Experiments on real-world datasets show that DiPE-Linear delivers state-of-the-art performance with significantly fewer parameters, establishing a new and highly efficient baseline for LTSF. Our code is available at https://github.com/wintertee/DiPE-Linear/