The Amazing Stability of Flow Matching

arXiv:2604.16079v1 発表 タイプ：新しい 要旨: 深層生成モデルが、高品質かつ多様なサンプルを生成する成功は、しばしば特定のアーキテクチャと大きな学習データセットに起因すると考えられています。本稿では、これらの因子がフローマッチング（Flow Matching）モデルで生成されるサンプルの品質と多様性に与える影響を調査します。意外にも、CelebA-HQ データセットにおける実験では、データセットを 50% 削除してもフローマッチングは安定しており、生成されたサンプルの品質と多様性が保持されました。さらに、削除操作は潜在表現にわずかなみずかしか影響を与えず、即ち、フルデータセットと削除されたデータセットでトレーニングされたモデルが生成したサンプルは、同じシードに対して視覚的に類似した出力をマッピングします。アーキテクチャの変更やトレーニング構成の変更についても同様の安定性を観察し、潜在表現がこれら変更下でも維持されていることを確認しました。 本稿の結果は、この安定性が実際にはどれほど強く機能しているかを定量化し、様々な摂動下におけるフローマッチングモデルの信頼性を説明する助けとなりました。

arXiv:2604.16079v1 Announce Type: new Abstract: The success of deep generative models in generating high-quality and diverse samples is often attributed to particular architectures and large training datasets. In this paper, we investigate the impact of these factors on the quality and diversity of samples generated by \emph{flow-matching} models. Surprisingly, in our experiments on CelebA-HQ dataset, flow matching remains stable even when pruning 50\% of the dataset. That is, the quality and diversity of generated samples are preserved. Moreover, pruning impacts the latent representation only slightly, that is, samples generated by models trained on the full and pruned dataset map to visually similar outputs for a given seed. We observe similar stability when changing the architecture or training configuration, such that the latent representation is maintained under these changes as well. Our results quantify just how strong this stability can be in practice, and help explain the reliability of flow-matching models under various perturbations.