VARestorer: 一ステップ VAR ディストリルションによる実世界画像超分解像化

arXiv:2604.21450v1 発表タイプ: 新規 概要：直近の可視自動回帰モデル（VAR）の進歩は画像生成における効果性を示しており、実世界画像超分解像化（Real-ISR）への潜在力を見出している。しかし、VAR を ISR に適応させるには重要な課題が存在する。因果的な注意に制約された次のスケール予測メカニズムは、低品質（LQ）のグローバルコンテキストを十分に利用できず、ボケた不整合な高品質（HQ）出力を招く。また、反復予測における誤りの累積は ISR タスクにおける整合性を著しく低下させる。これらの問題を解決するために、我々は事前学習されたテキストから画像へ変換する VAR モデルを、一ステップ ISR モデルに変換する単純でありながら効果的なディストリルション枠組み「VARestorer」を提案する。我々の方法は分布適合を活用することで、反復補正の必要性を排除し、誤りの伝播と推論時間を大幅に削減する。さらに、クロススケール注意力を持つピラミッド画像条件付けを導入し、双方 directions なスケール間の相互作用を実現し、入力画像情報を完全に活用しながら自動回帰メカニズムに適応する。これにより、トランスフォーマー内の後の LQ トークンを見逃すことが防止される。パラメータ効率的なアダプターを用いてモデルパラメータの only 1.2% をのみ微調整することにより、我々の方法は元の VAR モデルの表現能力を保ちつつ、効率性を大幅に向上させる。広範な実験により、VARestorer は DIV2K データセットにおいて、MUSIQ 72.32 と CLIPIQA 0.7669 の最新性能を示し、従来の VAR 推論と比較して推論速度を 10 倍加速したことが示された。

arXiv:2604.21450v1 Announce Type: new Abstract: Recent advancements in visual autoregressive models (VAR) have demonstrated their effectiveness in image generation, highlighting their potential for real-world image super-resolution (Real-ISR). However, adapting VAR for ISR presents critical challenges. The next-scale prediction mechanism, constrained by causal attention, fails to fully exploit global low-quality (LQ) context, resulting in blurry and inconsistent high-quality (HQ) outputs. Additionally, error accumulation in the iterative prediction severely degrades coherence in ISR task. To address these issues, we propose VARestorer, a simple yet effective distillation framework that transforms a pre-trained text-to-image VAR model into a one-step ISR model. By leveraging distribution matching, our method eliminates the need for iterative refinement, significantly reducing error propagation and inference time. Furthermore, we introduce pyramid image conditioning with cross-scale attention, which enables bidirectional scale-wise interactions and fully utilizes the input image information while adapting to the autoregressive mechanism. This prevents later LQ tokens from being overlooked in the transformer. By fine-tuning only 1.2\% of the model parameters through parameter-efficient adapters, our method maintains the expressive power of the original VAR model while significantly enhancing efficiency. Extensive experiments show that VARestorer achieves state-of-the-art performance with 72.32 MUSIQ and 0.7669 CLIPIQA on DIV2K dataset, while accelerating inference by 10 times compared to conventional VAR inference.