SURF: 符号維持による高速動画生成

arXiv:2603.21002v1 発表タイプ：新規 要約：解像度が高い動画の生成需要は急速に拡大しています。しかし、生成解像度は非常に遅い推論速度によって厳しく制限されています。例えば、Wan2.1 は単一の 720p バイdeo を生成するために 50 分以上を要します。従来の研究は動画生成の加速を様々な側面から探求していますが、それらの多くは元のモデルの特徴的な記号（例：レイアウト、セマンティクス、運動）を妥協します。本研究では、高い解像度の動画を効率的に生成すると同時に記号を最大限に保持する SURF というフレームワークを提案します。具体的には、SURF は動画生成を 2 つの段階に分割します。第一に、事前トレーニング済みモデルを適応解像度で推論し、潜在空間を下采样して低解像度のプレビューを高速で生成します。その後、アップスケーリングのために Refiner を設計します。プレビューの段階では、高解像度でトレーニングされたモデルを低解像度で直接推論すると記号に深刻な損失が生じることに気が付きました。そこで、元の解像度で初期のノイズ除算ステップを実行し、後のステップで低解像度に切り替えることで、トレーニングなしの手法であるノイズリセット（noise reshifting）を導入しました。Refine の段階では、プレビューと高解像度の目標との間のマッピング関係を確立し、これは除算ステップを大幅に削減します。さらに、シフティングウィンドウを実装し、強力かつ効率的な Refiner を得るためにトレーニングパラダイムを慎重に設計しました。この方法により、SURF は効率的に高解像度の動画を生成でき、事前トレーニング済みモデルの記号に最大限に近い結果を提供します。SURF は概念的には単純であり、多種多様なベースモデルと加速手法と互換性の高いプラグインとして機能できます。例えば、5 秒間、16 フレーム毎秒、720p の Wan 2.1 ビデオを生成する際の 12.5 倍の速度向上を達成し、5 秒間、24 フレーム毎秒、720p の HunyuanVideo を生成する際の 8.7 倍の速度向上を実現しました。

arXiv:2603.21002v1 Announce Type: new Abstract: The demand for high-resolution video generation is growing rapidly. However, the generation resolution is severely constrained by slow inference speeds. For instance, Wan2.1 requires over 50 minutes to generate a single 720p video. While previous works explore accelerating video generation from various aspects, most of them compromise the distinctive signatures (e.g., layout, semantic, motion) of the original model. In this work, we propose SURF, an efficient framework for generating high-resolution videos, while maximally keeping the signatures. Specifically, SURF divides video generation into two stages: First, we leverage the pretrained model to infer at optimal resolution and downsample latent to generate low-resolution previews in fast speed; then we design a Refiner to upscale the preview. In the preview stage, we identify that directly inferring a model (trained with higher resolution) on lower resolution causes severe losses in signatures. So we introduce noise reshifting, a training-free technique that mitigates this issue by conducting initial denoising steps on the original resolution and switching to low resolution in later steps. In the refine stage, we establish a mapping relationship between the preview and the high-resolution target, which significantly reduces the denoising steps. We further integrate shifting windows and carefully design the training paradigm to get a powerful and efficient Refiner. In this way, SURF enables generating high-resolution videos efficiently while maximally closer to the signatures of the given pretrained model. SURF is conceptually simple and could serve as a plug-in that is compatible with various base model and acceleration methods. For example, it achieves 12.5x speedup for generating 5-second, 16fps, 720p Wan 2.1 videos and 8.7x speedup for generating 5-second, 24fps, 720p HunyuanVideo.