ParisKV: 長コンテキストの LLM における高速かつ分布ドリフトに耐性のある KV Cache 検索

arXiv:2602.07721v1 発表タイプ：新 要約：長コンテキストの LLM 推論において KV Cache 検索は不可欠であるが、既存の方法は分布ドリフトと大規模化時の高いレイテンシーに直面している。当社は、衝突ベースのカンジデート選択、その後にクアンタイズされた内積再ランク付け推定器を伴う、分布に耐性のある GPU 元生 KV Cache 検索フレームワーク「ParisKV」を導入した。百万トークンのコンテキストに対して、ParisKV はユニファイド仮想アドレス（UVA）を利用した CPU 負荷掛ける KV Cache をサポートし、最小限のオーバーヘッドでオンデマンドの top-$k$ 検索を可能にする。ParisKV は長入力度および長生成ベンチマークにおいて、フルアテンションの品質に相当するかそれ以上に優れたパフォーマンスを発揮する。ParisKV は最先端の長コンテキストデコード効率を実現しており、長コンテキストにおいてもバッチサイズ 1 でフルアテンション速度に相当するかそれ以上に速く、フルアテンションの実行範囲内では最大 2.8 倍のサードループを提供する、また百万トークンのコンテキストにおいてフルアテンションはメモリ不足になるが ParisKV は対応する。百万トークン規模において、ParisKV は MagicPIG と PQCache のそれぞれに比べ、デコードレイテンシーを 17 倍と 44 倍削減する。MagicPIG と PQCache は KV Cache の top-$k$ 検索の最先端ベースラインである。

arXiv:2602.07721v1 Announce Type: new Abstract: KV-cache retrieval is essential for long-context LLM inference, yet existing methods struggle with distribution drift and high latency at scale. We introduce ParisKV, a drift-robust, GPU-native KV-cache retrieval framework based on collision-based candidate selection, followed by a quantized inner-product reranking estimator. For million-token contexts, ParisKV supports CPU-offloaded KV caches via Unified Virtual Addressing (UVA), enabling on-demand top-$k$ fetching with minimal overhead. ParisKV matches or outperforms full attention quality on long-input and long-generation benchmarks. It achieves state-of-the-art long-context decoding efficiency: it matches or exceeds full attention speed even at batch size 1 for long contexts, delivers up to 2.8$\times$ higher throughput within full attention's runnable range, and scales to million-token contexts where full attention runs out of memory. At million-token scale, ParisKV reduces decode latency by 17$\times$ and 44$\times$ compared to MagicPIG and PQCache, respectively, two state-of-the-art KV-cache Top-$k$ retrieval baselines.