DVP-MVS++: 深部・法線・エッジの同調と調和された視覚的先行情報の活用による多視点立体化のシナジー

arXiv:2506.13215v2 発表タイプ：代替 要旨：最近、パッチ変形に基づく手法は、欠伸や拡張した認識を取り入れたため、テクスチャのない領域の再構築において顕著な効果を示してきました。しかし、これらの手法は一般的にパッチ変形の匹引き不確実性を緩和するために信頼できるピクセルの相関を特定することに焦点を当てており、エッジスキップや視覚的被覆による変形の不安定性を無視しており、これにより潜在的な推定偏差を招く可能性があります。これらの問題を解決するために、私たちは、DVP-MVS++という革新的なアプローチを提案しました。これは、robust で視覚的感知に基づくパッチ変形を実現するために、深部・法線・エッジが整列した先行情報と調和されたクロスビュー先行情報を統合しています。具体的には、エッジスキップを避けるために、まず DepthPro、Metric3Dv2、およびロビツオペレータを適用し、それぞれ粗い深部マップ、法線マップ、エッジマップを生成します。これらのマップは侵食・膨脹戦略を介して整列され、robust なパッチ変形を容易にする細粒度の均一な境界を生成します。さらに、ビュー選択重み付けを視覚マップとして再形式化し、增強されたクロスビュー深部再投影と面積最大化戦略を実装して、視覚的な領域を確実に復元し、変形されたパッチを効果的にバランスさせることで、視覚感知に基づくパッチ変形のための調和されたクロスビュー先行情報を取得します。さらに、ビュー選択と法線再投影の両方を用いた集積法線と、エリパラー線を通じた投影深部差分を採用することで幾何学的整合性を獲得し、その後 SHIQ を採用してハイライト補正を実施することで、ハイライト感知と整合性を確保し、伝播および精修段階での再構築品質向上を可能にします。ETH3D、Tanks & Temples、Strecha データセットへの評価結果は、我々が提案した手法の状態最良の性能とrobust な汎化能力を示しました。

arXiv:2506.13215v2 Announce Type: replace Abstract: Recently, patch deformation-based methods have demonstrated significant effectiveness in multi-view stereo due to their incorporation of deformable and expandable perception for reconstructing textureless areas. However, these methods generally focus on identifying reliable pixel correlations to mitigate matching ambiguity of patch deformation, while neglecting the deformation instability caused by edge-skipping and visibility occlusions, which may cause potential estimation deviations. To address these issues, we propose DVP-MVS++, an innovative approach that synergizes both depth-normal-edge aligned and harmonized cross-view priors for robust and visibility-aware patch deformation. Specifically, to avoid edge-skipping, we first apply DepthPro, Metric3Dv2 and Roberts operator to generate coarse depth maps, normal maps and edge maps, respectively. These maps are then aligned via an erosion-dilation strategy to produce fine-grained homogeneous boundaries for facilitating robust patch deformation. Moreover, we reformulate view selection weights as visibility maps, and then implement both an enhanced cross-view depth reprojection and an area-maximization strategy to help reliably restore visible areas and effectively balance deformed patch, thus acquiring harmonized cross-view priors for visibility-aware patch deformation. Additionally, we obtain geometry consistency by adopting both aggregated normals via view selection and projection depth differences via epipolar lines, and then employ SHIQ for highlight correction to enable geometry consistency with highlight-aware perception, thus improving reconstruction quality during propagation and refinement stage. Evaluation results on ETH3D, Tanks & Temples and Strecha datasets exhibit the state-of-the-art performance and robust generalization capability of our proposed method.