Art3D: 3D 生成のための色平らなイラストからの学習なしアプローチ

arXiv:2504.10466v2 発表 タイプ：置換 要旨：大規模な事前学習された画像から 3D への生成モデルは、多様な形状の生成において顕著な能力を示していますが、多くのモデルは手描きのような色平らな参照画像に対しては、3D の錯覚がないために現実的な 3D アセットの合成に苦しんでいます。これは、芸術コンテンツの作成において最も使いやすい入力モードの一つです。これに対する我々の提案は、Art3D です。これは、学習なしの手法であり、色平らな 2D デザインを 3D に引き上げることを可能にします。事前に学習された 2D 画像生成モデルの構造的・概念的特徴、および VLM に基づいたリアリズム評価を活用することで、Art3D は参照画像における 3D 的錯覚を成功させることができます。これにより、2D から 3D を生成するプロセスが簡素化され、多種多様な絵画スタイルに適応可能であることが証明されました。3D 感のない色平らな画像における既存の画像から 3D へのモデルの汎化性能をベンチマークするために、100 件以上のサンプルを含む新しいデータセット「Flat-2D」を収集しました。実験結果は、Art3D の性能と堅牢性を示し、優れた汎化能力と有望な実践的な適用性を示しています。我々のソースコードとデータセットは、プロジェクトページ https://joy-jy11.github.io/ から公開されます。

arXiv:2504.10466v2 Announce Type: replace Abstract: Large-scale pre-trained image-to-3D generative models have exhibited remarkable capabilities in diverse shape generations. However, most of them struggle to synthesize plausible 3D assets when the reference image is flat-colored like hand drawings due to the lack of 3D illusion, which are often the most user-friendly input modalities in art content creation. To this end, we propose Art3D, a training-free method that can lift flat-colored 2D designs into 3D. By leveraging structural and semantic features with pre-trained 2D image generation models and a VLM-based realism evaluation, Art3D successfully enhances the three-dimensional illusion in reference images, thus simplifying the process of generating 3D from 2D, and proves adaptable to a wide range of painting styles. To benchmark the generalization performance of existing image-to-3D models on flat-colored images without 3D feeling, we collect a new dataset, Flat-2D, with over 100 samples. Experimental results demonstrate the performance and robustness of Art3D, exhibiting superior generalizable capacity and promising practical applicability. Our source code and dataset will be publicly available on our project page: https://joy-jy11.github.io/ .