多言語・音声模型における実用的かつ効率的な量化カライブラートの見直し

arXiv:2602.07899v1 Announce Type: new 要旨: 後訓練量化（PTQ）は、微調整を伴わずに大規模言語モデルをデプロイする主要なアプローチであり、PTQ における量化性能はカライブラートに強く影響を受けます。これに対し、多言語・音声模型（VLM）では、視覚トークンとテキストトークンの活性化分布や量化誤差への感受性の間に著しい差が存在し、PTQ 期間中の有効なカライブラートを行う上で重大な課題を呈します。本稿では、VLM における PTQ カライブラートに整合させるべき内容を再考し、トークン単位重要性意識レイヤー間量化フレームワーク（TLQ）を提案します。勾配情報に基づき、量化誤差に対するトークン単位重要性統合機構を設計し、トークン単位の калибровкаセットを構築することで、より粒度の細かいカライブラート戦略を実現しました。さらに、TLQ はマルチ GPU、量化Exposed レイヤー間カライブラート方式を導入しました。この方式は、レイヤー間カライブラート手順を真の量化推論経路と整合させ、複雑なレイヤー間カライブラートワークロードを複数の RTX3090 GPU 上で分散させることで、A100 GPU の大規模メモリへの依存を削減しました。TLQ は、2 つのモデル、3 つのモデル規模、および 2 つの量化設定の 2 つのモデルで評価され、すべての設定で性能向上を達成し、強力な量化安定性を示しています。コードは公開されます。

arXiv:2602.07899v1 Announce Type: new Abstract: Post-training quantization (PTQ) is a primary approach for deploying large language models without fine-tuning, and the quantized performance is often strongly affected by the calibration in PTQ. By contrast, in vision-language models (VLMs), substantial differences between visual and text tokens in their activation distributions and sensitivities to quantization error pose significant challenges for effective calibration during PTQ. In this work, we rethink what PTQ calibration should align with in VLMs and propose the Token-level Importance-aware Layer-wise Quantization framework (TLQ). Guided by gradient information, we design a token-level importance integration mechanism for quantization error, and use it to construct a token-level calibration set, enabling a more fine-grained calibration strategy. Furthermore, TLQ introduces a multi-GPU, quantization-exposed layer-wise calibration scheme. This scheme keeps the layer-wise calibration procedure consistent with the true quantized inference path and distributes the complex layer-wise calibration workload across multiple RTX3090 GPUs, thereby reducing reliance on the large memory of A100 GPUs. TLQ is evaluated across two models, three model scales, and two quantization settings, consistently achieving performance improvements across all settings, indicating its strong quantization stability. The code will be released publicly.