DualSplat: マルチビュー一貫性を破る一時的なオブジェクトによる 3Dガウシアンスポットリングの耐性向上：再構築失敗からの偽マスクによるブートストラップ

arXiv:2604.21631v1 発表形式：新規 要約: 3D ガウシアンスポットリング (3DGS) はリアルタイム写真のようなレンダリングを実現していますが、トレーニング画像にマルチビューの一貫性を違反する一時的なオブジェクトが含まれている場合、そのパフォーマンスは著しく低下します。既存の方法は循環的な依存関係に悩まされています：正確な一時的なオブジェクトの検出には良好に再構築された静的なシーンが必要であり、同時に清潔な再構築そのものには信頼性の高い一時的なマスクが依存しています。我々は、再構築失敗を 2 番目の再構築ステージのための明示的な事前知識に変換する「Failure-to-Prior」と呼ぶ DualSplat という枠組みでこの課題に対処しました。観測したところ、一部のビューにのみ出現する一時的なオブジェクトは、保守的な初期トレーニング中に不完全な断片として現れることが多く、我々はこれらの失敗を組み合わせ photometric 残差、feature マッチングミスマッチ、および SAM2 インスタンス境界を活用して、オブジェクトレベルの偽マスクを構築しました。これらの偽マスクは、清潔な 2 番目のパスの 3DGS 最適化を導き、同時に軽量な MLP により、事前監視から自己一貫性に徐々に移行しながらオンラインでそれらを精錬します。RobustNeRF と NeRF On-the-go における実験は、DualSplat が既存のベースラインを上回ることを示しており、一時的なオブジェクトが多価なシーンや一時的な領域において特に明確な優位性を発揮したことを確認しました。

arXiv:2604.21631v1 Announce Type: new Abstract: While 3D Gaussian Splatting (3DGS) achieves real-time photorealistic rendering, its performance degrades significantly when training images contain transient objects that violate multi-view consistency. Existing methods face a circular dependency: accurate transient detection requires a well-reconstructed static scene, while clean reconstruction itself depends on reliable transient masks. We address this challenge with DualSplat, a Failure-to-Prior framework that converts first-pass reconstruction failures into explicit priors for a second reconstruction stage. We observe that transients, which appear in only a subset of views, often manifest as incomplete fragments during conservative initial training. We exploit these failures to construct object-level pseudo-masks by combining photometric residuals, feature mismatches, and SAM2 instance boundaries. These pseudo-masks then guide a clean second-pass 3DGS optimization, while a lightweight MLP refines them online by gradually shifting from prior supervision to self-consistency. Experiments on RobustNeRF and NeRF On-the-go show that DualSplat outperforms existing baselines, demonstrating particularly clear advantages in transient-heavy scenes and transient regions.