Back to list
arxiv_cs_lg 2026年4月24日

聞き取りながら思考する:長距離シーケンシャルモデリングのためのファスト・スロー再帰性

Thinking While Listening: Fast-Slow Recurrence for Long-Horizon Sequential Modeling

Translated: 2026/4/24 20:10:43
recurrent-netsreinforcement-learninglong-horizon-tasktransformerlatent-representation

Japanese Translation

arXiv:2604.01577v2 Announce Type: replace 要約:私たちは最近の潜在的な再帰的モデリングをシーケンシャルな入力ストリームへと拡張します。ファストな潜在的な再帰的な更新と、スロウな観察更新間の自己組織化能力を交互に組み合わせることで、入力と並行して進化する安定した内部構造の学習を促進します。このメカニズムは、モデルが長距離において統一的かつクラスター化された表現を維持することを可能にし、LSTM、状態空間モデル、および Transformer 変種などのシーケンシャルベースラインと比較して、強化学習およびアルゴリズムタスクにおける外分布(OOD)に対する一般化能力を向上させます。

Original Content

arXiv:2604.01577v2 Announce Type: replace Abstract: We extend the recent latent recurrent modeling to sequential input streams. By interleaving fast, recurrent latent updates with self-organizational ability between slow observation updates, our method facilitates the learning of stable internal structures that evolve alongside the input. This mechanism allows the model to maintain coherent and clustered representations over long horizons, improving out-of-distribution generalization in reinforcement learning and algorithmic tasks compared to sequential baselines such as LSTM, state space models, and Transformer variants.