Mixture of Sequence: テーマ認知型エクスパーツ混合アーキテクチャによる長期シーケンス推薦

arXiv:2604.20858v1 発表タイプ：クロス 要約：クリックルーThrough率の予測において動的なユーザー関心をモデル化できるため、シーケンシャル推薦技術は急速に進展している。しかし、課題の鍵は、ユーザーが長期的に大きな関心の変動を示し、不相关または誤解を招く情報を導入することにある。我々の経験的分析は、この課題を裏付け、長いシーケンスにおいて再現される行動パターンである（セッション横断：ユーザー関心は短い時間間隔内では安定しているが、セッション間では劇的に変化し、複数のセッション後に再出現する可能性があります）を明らかにした。この課題に対処するために、我々は、ノイズの多い生のユーザーシーケンスからテーマ固有およびマルチスケールの部分シーケンスを抽出することで、正確な予測を実現するモデルアガノスティックなMoEアプローチである Mixture of Sequence（MoS）フレームワークを提案した。まず、MoS はテーマ認知型ルーティング機構を採用し、ユーザーシーケンスの潜在的主题を適応的に学習し、これらのシーケンスを複数の整合性の高い部分シーケンスに組織化する。各部分シーケンスは、特定のテーマに一致するセッションのみを含み、したがって、セッション横断によるユーザー関心的変動によって導入された不相关あるいは誤解を招く情報を効果的にフィルタリングする。さらに、潜在的な情報損失を軽減するために、我々は、3 つ種類のエキスパーツを活用して全局的なシーケンス特性、短期的なユーザー行動、およびテーマ固有の语义パターンをキャッチするマルチスケール融合機構を導入した。これらの 2 つの機構は、MoS に多角的・マルチスケールの視点からの正確な推薦を供給する能力を与えている。実験結果は、MoS の他 MoE 対抗者よりも少ない FLOPs を導入しながら他 SOTA のパフォーマンスを常に達成することが、その優れた機能と効率のバランスの強力な証拠であることを示している。コードは https://github.com/xiaolin-cs/MoS に利用可能です。

arXiv:2604.20858v1 Announce Type: cross Abstract: Sequential recommendation has rapidly advanced in click-through rate prediction due to its ability to model dynamic user interests. A key challenge, however, lies in modeling long sequences: users often exhibit significant interest shifts, introducing substantial irrelevant or misleading information. Our empirical analysis corroborates this challenge and uncovers a recurring behavioral pattern in long sequences (\textit{session hopping}): user interests remain stable within short temporal spans (\textit{sessions}) but shift drastically across sessions and may reappear after multiple sessions. To address this challenge, we propose the Mixture of Sequence (MoS) framework, a model-agnostic MoE approach that achieves accurate predictions by extracting theme-specific and multi-scale subsequences from noisy raw user sequences. First, MoS employs a theme-aware routing mechanism to adaptively learn the latent themes of user sequences and organizes these sequences into multiple coherent subsequences. Each subsequence contains only sessions aligned with a specific theme, thereby effectively filtering out irrelevant or even misleading information introduced by user interest shifts in session hopping. In addition, to alleviate potential information loss, we introduce a multi-scale fusion mechanism, which leverages three types of experts to capture global sequence characteristics, short-term user behaviors, and theme-specific semantic patterns. Together, these two mechanisms endow MoS with the ability to deliver accurate recommendations from multi-faceted and multi-scale perspectives. Experimental results demonstrate that MoS consistently achieves the SOTA performance while introducing fewer FLOPs compared with other MoE counterparts, providing strong evidence of its excellent balance between utility and efficiency. The code is available at https://github.com/xiaolin-cs/MoS.