特徴からトランスフォーマーへ：スケーラビリティのあるインパクトを実現するランキングの再定義

arXiv:2502.03417v3 Announce Type: replace 要旨：私たちは LinkedIn で開発された、次世代トランスフォーマーベースのモデルアーキテクチャを実稼働に導入する大規模ランキング枠組み LiGR を提示します。学習された正規化とユーザー履歴およびランキングアイテムの同時セットベース注意を備えた変形されたトランスフォーマーアーキテクチャを導入しました。このアーキテクチャは、以下の革新的な達成を可能にします：(1) 大部分を手動で設計された特徴工学を廃止し、基準システムと比較して百個もの特徴しか使用せず、先駆的な次世代最良システムを超えました。(2) ランキングシステムのスケーリング則の検証を行い、より大きなモデル、更多的なトレーニングデータ、およびより長いコンテキストシーケンスが性能向上をもたらすことを示しました。(3) セットベースの方式でアイテムの同時 Joint スコアリングを実現し、多様性への自動化された改善をもたらしました。大規模ランキングモデルの効率的な提供を可能にするために、ユーザー履歴およびセットベース注意のスキャンパス処理を用いた推論のスケーリング技術について説明します。さらには、様々なアブレーション研究と A/B テストから得られた重要な洞察をまとめ、最も影響の大きい技術的手法を強調しました。

arXiv:2502.03417v3 Announce Type: replace Abstract: We present LiGR, a large-scale ranking framework developed at LinkedIn that brings state-of-the-art transformer-based modeling architectures into production. We introduce a modified transformer architecture that incorporates learned normalization and simultaneous set-wise attention to user history and ranked items. This architecture enables several breakthrough achievements, including: (1) the deprecation of most manually designed feature engineering, outperforming the prior state-of-the-art system using only few features (compared to hundreds in the baseline), (2) validation of the scaling law for ranking systems, showing improved performance with larger models, more training data, and longer context sequences, and (3) simultaneous joint scoring of items in a set-wise manner, leading to automated improvements in diversity. To enable efficient serving of large ranking models, we describe techniques to scale inference effectively using single-pass processing of user history and set-wise attention. We also summarize key insights from various ablation studies and A/B tests, highlighting the most impactful technical approaches.