PAT3D：物理学補強型テキストによる 3D スシーン生成

arXiv:2511.21978v2 Announce Type: replace 要約：当社は、視言語モデルと物理学に基づくシミュレーションを統合し、物理的に合理的かつ、シミュレーション用および交差のない 3D スシーンを生み出す最初の物理学補強型テキストによる 3D スシーン生成フレームワーク「PAT3D」を発表します。テキストプロンプトを指定すると、PAT3D は 3D オブジェクトを生成し、それらの空間的関係を見極め、階層構造を持つシーンツリーに整理します。このツリーはその後、シミュレーションの初期条件に変換されます。微分可能な剛体シミュレーターは重力条件下的リアルなオブジェクト相互作用を確保し、シミュレーションを静止状態へと導きながら、オブジェクトの重なりを防ぎます。さらにより高いスシーン品質を得るために、当社は、物理的な安定性と交差の排除を担保しつつ、入力プロンプトとの意味的整合性を向上させるシミュレーション内ループによる最適化手順を導入しました。実験结果表明、PAT3D は物理的合理性、意味的整合性、そして視覚品質の面で、先駆的なアプローチと比較して大幅に優れていることを示唆しました。高品質な生成能力だけでなく、PAT3D はシーンの編集やロボティクス操作などの下流タスクのために、シミュレーション用の 3D スシーンに唯一無二の能力を付与します。コードとデータは以下の URL から入手可能です：https://github.com/Simulation-Intelligence/PAT3D。

arXiv:2511.21978v2 Announce Type: replace Abstract: We introduce PAT3D, the first physics-augmented text-to-3D scene generation framework that integrates vision-language models with physics-based simulation to produce physically plausible, simulation-ready, and intersection-free 3D scenes. Given a text prompt, PAT3D generates 3D objects, infers their spatial relations, and organizes them into a hierarchical scene tree, which is then converted into initial conditions for simulation. A differentiable rigid-body simulator ensures realistic object interactions under gravity, driving the scene toward static equilibrium without interpenetrations. To further enhance scene quality, we introduce a simulation-in-the-loop optimization procedure that guarantees physical stability and non-intersection, while improving semantic consistency with the input prompt. Experiments demonstrate that PAT3D substantially outperforms prior approaches in physical plausibility, semantic consistency, and visual quality. Beyond high-quality generation, PAT3D uniquely enables simulation-ready 3D scenes for downstream tasks such as scene editing and robotic manipulation. Code and data are available at: https://github.com/Simulation-Intelligence/PAT3D.