Signal Degradation から Computation Collapse へ：LLM 定量化のパラメータ 2 つの破綻モードを明らかにする

arXiv:2604.19884v1 Announce Type: cross 摘要：トレーニング後定量化（PTQ）は、大型言語モデル（LLM）の効率的な展開において極めて重要です。4 ブイト定量化は広く最適なトレードオフと見なされていますが、精度を 2 ブイトに下げることは、通常、劇的な「パフォーマンス崖」を引き起こします。背後にあるメカニズムが根本的に異なるのかどうかはまだ不明です。したがって、当社は包括的なメカニズム分析を行い、2 つの質的に異なる破綻モードを明らかにしました：それは、計算パターンは残存するものの累積誤差によって情報精度が損なわれる「Signal Degradation」であり、重要なコンポーネントが機能し、適切な情報処理を妨げ、早期層で信号を破壊する「Computation Collapse」です。この診断に基づき、我々はメカニズムを意識した介入を行いました。目標を絞った、トレーニング不要な修復は Signal Degradation を緩和できることを示しましたが、Computation Collapse に対しては依然として効果がありません。当社の発見は、PTQ の破綻に対する包括的診断枠組みを提供し、Computation Collapse を対処するには補償を超えた構造再構築が必要であるという可能性を指摘しています。

arXiv:2604.19884v1 Announce Type: cross Abstract: Post-Training Quantization (PTQ) is critical for the efficient deployment of Large Language Models (LLMs). While 4-bit quantization is widely regarded as an optimal trade-off, reducing the precision to 2-bit usually triggers a catastrophic ``performance cliff.'' It remains unclear whether the underlying mechanisms differ fundamentally. Consequently, we conduct a systematic mechanistic analysis, revealing two qualitatively distinct failure modes: Signal Degradation, where the computational patterns remain intact but information precision is impaired by cumulative error; and Computation Collapse, where key components fail to function, preventing correct information processing and destroying the signal in the early layers. Guided by this diagnosis, we conduct mechanism-aware interventions, demonstrating that targeted, training-free repair can mitigate Signal Degradation, but remains ineffective for Computation Collapse. Our findings provide a systematic diagnostic framework for PTQ failures and suggest that addressing Computation Collapse requires structural reconstruction rather than mere compensation.