Long-Context Inferenceにおける Near-Oracle KV セレクション：前処理による事前 sparsity

arXiv:2602.08329v1 発表タイプ：新 要旨：大規模言語モデル（LLM）推論における重要なボトルネックは、絶えず拡大するキー・値（KV）キャッシュの検索コストである。Near-Oracle トップ k KV セレクションは、スパースな密度関数化を可能にしながら計算量と帯域幅を著しく削減するものの、既存のスパース手法は観測された注意スコアや代理スコアを条件とする事後の直感に依存している。この条件付けは事後バイアスを引き起こし、真のトークンの重要性を歪めて顕著なトークンを欠落させることで、長距離推論に悪影響を及ぼす。この問題を解決するために、私たちは注目スコア付け before に行う KV エントリの選択と明確な精度制御を提供する「Pre-hoc Sparsity (PrHS)」を提案した。抛弃されたエントリの注意質量を delta（ドロップ質量）と定義する。マージナルから相互情報量への解析を通じて、ドロップ質量のみで依存する相互情報量損失の上界を導出した。この関係は事後直感の失敗モードを説明し、事前のドロップ質量制御を通じて検証可能な保証を可能にする。PrHS 内では、時間、深さ、層の軸に沿った 3 つの直交する事前セレクタを定式化した。LLaMA および Mistral ファ mily における大規模な実験により、PrHS が検証された。GSM8K および CoQA において、PrHS は検索オーバーヘッドを 90% 以上削減し、HShare に対して同等または高い精度で 3 倍の高い検索 sparsity を達成した。平均劣化が 1% 未満である LongBench では精度が低下せず、先鋭なスパースベースラインに対して注意 FLOPs 約 15% を削減し、NVIDIA A100-80GB GPU 上で注意力オペレータの遅延において 9.9 倍のスピードアップ、密度ベースラインに対して 2.8 倍の高いサンプリング速度をもたらした。

arXiv:2602.08329v1 Announce Type: new Abstract: A core bottleneck in large language model (LLM) inference is the cost of attending over the ever-growing key-value (KV) cache. Although near-oracle top-k KV selection can preserve the quality of dense attention while sharply reducing computation and bandwidth, existing sparse methods generally rely on posterior heuristics, i.e., selectors conditioned on observed attention or proxy scores. Such conditioning introduces posterior bias: it tends to distort true token importance and miss salient tokens, thereby impairing long-range reasoning. To tackle this problem, we propose Pre-hoc Sparsity (PrHS), which selects KV entries before attention scoring and provides explicit accuracy control. Let the attention mass of discarded entries be delta (the dropped mass). Through a marginal-to-mutual-information analysis, we derive an upper bound on the mutual-information loss that depends only on the dropped mass. This relation explains failure modes of posterior heuristics and enables verifiable guarantees by controlling the dropped mass in advance. Within PrHS, we instantiate three orthogonal pre-hoc selectors along the axes of time, depth, and layer. Extensive experiments on LLaMA and Mistral families validate PrHS. Across GSM8K and CoQA, PrHS reduces retrieval overhead by over 90%, achieving 3x higher retrieval sparsity than HShare at matched or better accuracy. It incurs under 1% average degradation on LongBench, lowers attention FLOPs by about 15% versus prior sparse baselines, and yields a 9.9x speedup in attention-operator latency and 2.8x higher throughput on NVIDIA A100-80GB GPUs than the dense baseline.