PartMat: 단일의 전역 잠재 변수를 활용한 재료 인식 3차원 부품 분해

PartMat: Material-Aware 3D Part Decomposition with a Single Global Latent

최근 부분 수준의 3차원 모델 생성이 구조적이고 편집 가능한 3차원 자산을 생성하는 데 상당한 관심을 받고 있습니다. 그러나 기존 방법은 일반적으로 실용적인 3차원 응용 분야(예: 인테리어 디자인)에서 요구되는 편집 가능한 재료 경계(예: 천, 나무, 금속)에 따라 객체를 분해하는 것이 아니라 기능적 의미론에 따라 분해합니다. 또한, 현재 방법은 종종 부품을 독립적으로 생성하므로 계산 비용이 부품 수에 따라 선형적으로 증가합니다. 이러한 제한 사항을 해결하기 위해, 우리는 단일의 전역 잠재 변수를 사용하여 효율적인 재료 인식 3차원 부품 분해 파이프라인인 PartMat을 제안합니다. PartMat은 참조 이미지와 하나의 전체 객체 지오메트리를 입력으로 받아, 객체를 재료 경계를 따르는 부분으로 분해합니다. 첫째, 우리는 이러한 통합 표현을 학습하고 모든 재료 부분을 단일의 순방향 패스에서 디코딩하는 PartVAE를 제안하여 추론 비용이 부품 수와 독립적이도록 합니다. 둘째, 이 표현을 사용하여 디퓨전 모델은 부분 생성을 위해 훈련되고, 강화 학습을 통해 정확한 재료 할당 및 중복 제거가 이루어집니다. 마지막으로, 세부적인 기하학적 정보를 복원하기 위해, 우리는 부품에 대한 주의 메커니즘을 갖춘 희소-복셀 흐름 일치 모델을 도입하여 지오메트리 후처리 작업을 수행합니다. 광범위한 실험 결과는 PartMat이 기존 방법보다 재료 인식 분해 정확도에서 크게 우수하며, 효율적인 추론 성능을 유지하면서 비교 가능한 기하학적 품질을 달성함을 보여줍니다.

Part-level 3D generation has recently attracted increasing attention for producing structured and editable 3D assets. However, existing methods typically decompose objects according to functional semantics rather than the editable material boundaries (e.g., fabric, wood, metal) required in practical 3D applications such as interior design. Additionally, current methods often generate parts independently, causing computational costs to scale linearly with the part count. To address these limitations, we present PartMat, an efficient material-aware 3D part decomposition pipeline that represents multi-part geometry with a single global latent. Given a reference image and a single whole-object geometry, PartMat decomposes the object into parts that follow material boundaries. First, we propose PartVAE to learn such a unified representation and decode all material parts in a single forward pass, thereby decoupling inference cost from the number of parts. Second, with this representation, a diffusion model is trained for part generation and refined via reinforcement learning for accurate material assignment and overlap suppression. Finally, to recover fine-grained geometric details, we introduce a sparse-voxel flow-matching model with part attention for geometry post-processing. Extensive experiments demonstrate that PartMat significantly outperforms existing baselines in material-aware decomposition accuracy and achieves comparable geometric quality, while maintaining efficient inference.