CubePart: 개방형 어휘 기반, 부분 제어가 가능한 3차원 모델 생성기

CubePart: An Open-Vocabulary Part-Controllable 3D Generator

게임 및 시뮬레이션에 사용되는 인터랙티브 3D 에셋은 일반적으로 애니메이션, 물리 효과 및 스크립트 기반 동작을 지원하기 위해 특정 의미론적 요소로 분해되지만, 대부분의 생성형 3D 모델은 단일 메시 또는 애플리케이션별 요구 사항과 일치하지 않는 임의의 요소 분해 방식을 사용합니다. 본 논문에서는 개방형 어휘 기반, 부분 제어가 가능한 3D 메쉬 생성을 위한 CubePart이라는 생성 프레임워크를 제시합니다. CubePart은 추론 시에 명시적으로 부분 구조를 제어할 수 있는 기능을 제공합니다. 전역 텍스트 프롬프트와 사용자가 정의한 부분 스키마(부분 이름 목록)을 입력으로 받아, 시스템은 일관된 객체를 구성하면서 지정된 의미론적 구조를 준수하는 메쉬들을 생성합니다 (스키마 요소당 하나의 메쉬). 이러한 기능을 구현하기 위해, 우리는 대규모 개방형 어휘 기반, 부분 레이블이 부착된 3D 데이터셋을 구축할 수 있는 확장 가능한 데이터 파이프라인과 전역 형태 합성과 부분 수준 디코딩을 분리하는 두 단계의 생성 아키텍처를 소개합니다. 실험 결과, 생성된 에셋은 추가적인 수동 후처리 없이 게임 엔진에 직접 통합되어 애니메이션 및 동작 스크립트에 의해 제어될 수 있음을 확인했습니다. 프로젝트 페이지: https://cubepart.github.io/

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/