SmokeSVD: 単一ビューからの煙の再構築を、拡散モデルによる漸進的な新規視点合成と微調整で実現

arXiv:2507.12156v3 Announce Type: replace 要約：少数の視点から動的流体を再構築する問題は、観測不足による 3 次元情報の欠如という重度の不備（ill-posed）問題により、長年課題とされてきました。先行研究では、微分可能レンダリングや新規視点合成を応用した試みがなされつつありますが、不適切な条件における時間の掛かる最適化によって制約されています。当論文では、拡散モデルの生成能力と物理に基づく整合性最適化を統合し、単一の動画から動的煙を段階的に再構築する効率性・効果性の高い SmokeSVD を提案します。具体的には、まず拡散モデルに基づく物理誘導側面視点合成器を提案し、速度場制約を明示的に組み込むことで、フレームごとの空間・時間的一貫性を保った側面視点画像を生成し、単一視点再構築の不備性を著しく軽減します。次に、増える観測角度からの画像をレンダリング・増幅する段階的複数ステージプロセスにより、新規視点画像を反復的に微調整し、3 次元密度場を再構築します。最後に、ナビエ - ストokes 方程式を利用した微分可能対流を通じて、細粒度の密度場と速度場を推定します。当アプローチはシミュレーションの再実行と下流アプリケーションの支援を可能にし、最先进的手法に対する優位な再構築品質と計算効率を達成します。

arXiv:2507.12156v3 Announce Type: replace Abstract: Reconstructing dynamic fluids from sparse views is a long-standing and challenging problem, due to the severe lack of 3D information from insufficient view coverage. While several pioneering approaches have attempted to address this issue using differentiable rendering or novel view synthesis, they are often limited by time-consuming optimization under ill-posed conditions. We propose SmokeSVD, an efficient and effective framework to progressively reconstruct dynamic smoke from a single video by integrating the generative capabilities of diffusion models with physically guided consistency optimization. Specifically, we first propose a physically guided side-view synthesizer based on diffusion models, which explicitly incorporates velocity field constraints to generate spatio-temporally consistent side-view images frame by frame, significantly alleviating the ill-posedness of single-view reconstruction. Subsequently, we iteratively refine novel-view images and reconstruct 3D density fields through a progressive multi-stage process that renders and enhances images from increasing viewing angles, generating high-quality multi-view sequences. Finally, we estimate fine-grained density and velocity fields via differentiable advection by leveraging the Navier-Stokes equations. Our approach supports re-simulation and downstream applications while achieving superior reconstruction quality and computational efficiency compared to state-of-the-art methods.