最適な平面を用いた頑健な画像縫合：RopStitch

arXiv:2508.05903v2 発表タイプ：置き換え 摘要：当社は、頑健性と自然性を兼ね備えた非监督型深層画像縫合フレームワークである\textit{RopStitch}を導入します。\textit{RopStitch}の頑健性を保証するために、内容認識の汎用的事前知識を双支構造（dual-branch architecture）を通じて画像縫合モデルに組み込みます。このアプローチは、粗粒度特徴と微細粒度特徴を個別に抽出し、それらを統合することで、多様な見知らぬ現実世界のシーンにおいて高度な汎化性能を実現します。具体的には、双支モデルは、文脈不変な表現を捕捉する事前学習枝と、微細粒度の鑑別特徴を抽出する学習可能な枝から構成され、これらは相関レベルで制御可能な因子により統合されます。また、コンテンツの対称付けと構造の保持は互いに矛盾していることが多く、この矛盾を緩和するために、仮想最適な平面（virtual optimal planes）という概念を提案します。そのためには、この問題をホモグラフィー分解係数の推定プロセスとしてモデル化し、反復係数予測器と最小限の文脈歪み制約を設計することで最適な平面を特定します。最終的に、両方のビューを双方向に最適な平面に歪変形させることで、このスキームは\textit{RopStitch}に組み込まれます。多様なデータセットに対する広範な実験により、\textit{RopStitch}は既存の手法を顕著に上回ることを示し、特にシーンに対する頑健性とコンテンツの自然性において卓越した性能を発揮しています。コードは\texttt{https://github.com/MmelodYy/RopStitch}で利用可能です。

arXiv:2508.05903v2 Announce Type: replace Abstract: We present \textit{RopStitch}, an unsupervised deep image stitching framework with both robustness and naturalness. To ensure the robustness of \textit{RopStitch}, we propose to incorporate the universal prior of content perception into the image stitching model by a dual-branch architecture. It separately captures coarse and fine features and integrates them to achieve highly generalizable performance across diverse unseen real-world scenes. Concretely, the dual-branch model consists of a pretrained branch to capture semantically invariant representations and a learnable branch to extract fine-grained discriminative features, which are then merged into a whole by a controllable factor at the correlation level. Besides, considering that content alignment and structural preservation are often contradictory to each other, we propose a concept of virtual optimal planes to relieve this conflict. To this end, we model this problem as a process of estimating homography decomposition coefficients, and design an iterative coefficient predictor and minimal semantic distortion constraint to identify the optimal plane. This scheme is finally incorporated into \textit{RopStitch} by warping both views onto the optimal plane bidirectionally. Extensive experiments across various datasets demonstrate that \textit{RopStitch} significantly outperforms existing methods, particularly in scene robustness and content naturalness. The code is available at {\color{red}https://github.com/MmelodYy/RopStitch}.