Diffusion Distillation における一般化の理解：確率流距離に基づくアプローチ

arXiv:2505.20123v2 Announce Type: replace-cross Abstract：ディフューョンディジタルテーションは、効率的な生成を持つ軽量かつ少ステップのディフューョンモデルを学習するための効果的なアプローチを提供しています。しかし、その一般化性能の評価は依然として課題が多く、理論的な指標は高次元データに対して実用的ではない一方で、一般化を厳密に測定する実用的な指標はまだ存在しません。この研究では、一般化性能を測定する理論的に根拠があり計算効率的な指標である確率流距離（PFD）を導入することで、このギャップを埋めることにしました。具体的には、PFD は確率流 ODE によって誘発されたノイズからデータのマッピングを比較することで、分布間の距離を定量化します。ディフューョンディジタルテーションの設定を PFD を用いて適用した結果、我々は以下の主要な一般化挙動を実証的に明らかにしました：（1）暗記から一般化への定量的なスケール行動、（2） Epoch ごとの二重下降の学習ダイナミクス、および（3）バイアス分散の分解。これらの洞察を超え、この研究はディフューョンディジタルテーションにおける一般化研究の基礎を構築し、それらをディフューョン学習と統合する役割を果たします。

arXiv:2505.20123v2 Announce Type: replace-cross Abstract: Diffusion distillation provides an effective approach for learning lightweight and few-steps diffusion models with efficient generation. However, evaluating their generalization remains challenging: theoretical metrics are often impractical for high-dimensional data, while no practical metrics rigorously measure generalization. In this work, we bridge this gap by introducing probability flow distance (\texttt{PFD}), a theoretically grounded and computationally efficient metric to measure generalization. Specifically, \texttt{PFD} quantifies the distance between distributions by comparing their noise-to-data mappings induced by the probability flow ODE. Using \texttt{PFD} under the diffusion distillation setting, we empirically uncover several key generalization behaviors, including: (1) quantitative scaling behavior from memorization to generalization, (2) epoch-wise double descent training dynamics, and (3) bias-variance decomposition. Beyond these insights, our work lays a foundation for generalization studies in diffusion distillation and bridges them with diffusion training.