ManiTwin: 데이터 생성에 적합한 디지털 객체 데이터셋을 10만 개 규모로 확장

ManiTwin: Scaling Data-Generation-Ready Digital Object Dataset to 100K

시뮬레이션 기반 학습은 로봇 조작 능력을 확장하는 데 유용한 기반을 제공합니다. 그러나 이 접근 방식은 종종 데이터 생성에 적합한 디지털 자원의 규모와 다양성 부족으로 인해 어려움을 겪습니다. 본 연구에서는 데이터 생성에 적합한 디지털 객체 복제본을 생성하는 자동화되고 효율적인 파이프라인인 ManiTwin을 제시합니다. 우리 파이프라인은 단일 이미지를 시뮬레이션에 적합하고 의미론적으로 주석이 달린 3D 자원으로 변환하여 대규모 로봇 조작 데이터 생성을 가능하게 합니다. 이 파이프라인을 사용하여 10만 개의 고품질 주석이 달린 3D 자산을 포함하는 데이터셋인 ManiTwin-100K를 구축했습니다. 각 자산은 물리적 특성, 언어 설명, 기능적 주석 및 검증된 조작 제안을 포함합니다. 실험 결과, ManiTwin은 효율적인 자산 합성 및 주석 워크플로우를 제공하며, ManiTwin-100K는 조작 데이터 생성, 임의 장면 합성 및 VQA 데이터 생성에 적합한 고품질의 다양한 자산을 제공하여 확장 가능한 시뮬레이션 데이터 합성 및 정책 학습을 위한 강력한 기반을 마련합니다. 우리 웹페이지는 https://manitwin.github.io/ 에서 확인할 수 있습니다.

Learning in simulation provides a useful foundation for scaling robotic manipulation capabilities. However, this paradigm often suffers from a lack of data-generation-ready digital assets, in both scale and diversity. In this work, we present ManiTwin, an automated and efficient pipeline for generating data-generation-ready digital object twins. Our pipeline transforms a single image into simulation-ready and semantically annotated 3D asset, enabling large-scale robotic manipulation data generation. Using this pipeline, we construct ManiTwin-100K, a dataset containing 100K high-quality annotated 3D assets. Each asset is equipped with physical properties, language descriptions, functional annotations, and verified manipulation proposals. Experiments demonstrate that ManiTwin provides an efficient asset synthesis and annotation workflow, and that ManiTwin-100K offers high-quality and diverse assets for manipulation data generation, random scene synthesis, and VQA data generation, establishing a strong foundation for scalable simulation data synthesis and policy learning. Our webpage is available at https://manitwin.github.io/.