DreamPartGen: 의미 기반 부품 수준 3D 생성 모델 - 협업적 잠재 변수 제거를 통한 방법

DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising

3차원 객체를 의미 있는 부품들의 조합으로 이해하고 생성하는 것은 인간의 인지 및 추론에 있어 근본적인 요소입니다. 그러나 대부분의 텍스트-3D 생성 방법은 부품의 의미론적 및 기능적 구조를 간과합니다. 최근의 부품 인식 접근 방식은 분해를 도입하지만, 여전히 기하학적 측면에 집중되어 있으며, 부품이 텍스트 설명이나 부품 간의 관계와 어떻게 연결되는지를 모델링하지 못합니다. 본 논문에서는 의미 기반의 부품 인식 텍스트-3D 생성 프레임워크인 DreamPartGen을 제안합니다. DreamPartGen은 각 부품의 기하학적 형태와 외관을 동시에 모델링하는 Duplex Part Latents (DPLs)와, 언어로부터 파생된 부품 간의 의존성을 캡처하는 Relational Semantic Latents (RSLs)를 도입합니다. 동기화된 공동 제거 프로세스를 통해 상호 기하학적 및 의미론적 일관성을 강화하여, 일관성 있고 해석 가능하며 텍스트에 부합하는 3차원 객체 생성을 가능하게 합니다. 여러 벤치마크에서 DreamPartGen은 기하학적 정확도 및 텍스트-모양 일관성 측면에서 최첨단 성능을 보였습니다.

Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.