MolmoSpaces: 로봇 항법 및 조작을 위한 대규모 오픈 생태계

MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

로봇을 대규모로 활용하기 위해서는 일상적인 다양한 상황에 대한 강건성이 필수적입니다. 실제 환경을 특징짓는 장면 구성, 물체 기하학, 작업 사양의 수많은 변형은 기존 로봇 벤치마크에서 충분히 고려되지 않습니다. 이러한 일반화 수준을 측정하기 위해서는 물리적 평가만으로는 제공할 수 없는 규모와 다양성의 인프라가 필요합니다. 본 논문에서는 로봇 정책의 대규모 벤치마킹을 지원하는 완전한 오픈 생태계인 MolmoSpaces를 소개합니다. MolmoSpaces는 수작업으로 제작된 가정 환경부터 절차적으로 생성된 다중 방 가구까지 23만 개 이상의 다양한 실내 환경으로 구성되어 있으며, 13만 개의 풍부하게 주석이 달린 물체 자산을 포함하고 있습니다. 여기에는 4만 8천 개의 조작 가능한 물체와 42백만 개의 안정적인 그립 포인터가 포함됩니다. 중요한 점은 이러한 환경이 특정 시뮬레이터에 종속되지 않으며, MuJoCo, Isaac, ManiSkill과 같은 인기 있는 옵션을 지원한다는 것입니다. 이 생태계는 정적 및 이동 조작, 항법, 그리고 전체 실내 환경에서 조화로운 인지, 계획 및 상호 작용을 요구하는 다중 방 장기 작업 등 다양한 임베디드 작업을 지원합니다. 또한, MolmoSpaces-Bench는 로봇이 당사의 다양한 장면과 풍부하게 주석이 달린 물체와 상호 작용하는 8가지 작업으로 구성된 벤치마크 모음입니다. 우리의 실험 결과, MolmoSpaces-Bench는 강력한 시뮬레이션-실제 상관 관계(R = 0.96, ρ = 0.98)를 보이며, 최신 및 강력한 제로샷 정책이 당사의 벤치마크에서 이전 버전보다 우수한 성능을 발휘하며, 프롬프트 표현 방식, 초기 관절 위치 및 카메라 가림 현상에 대한 주요 민감성을 확인했습니다. MolmoSpaces 및 그 오픈 소스 자산과 도구를 통해, 로봇 학습 연구를 위한 확장 가능한 데이터 생성, 정책 훈련 및 벤치마크 생성의 기반을 제공합니다.

Deploying robots at scale demands robustness to the long tail of everyday situations. The countless variations in scene layout, object geometry, and task specifications that characterize real environments are vast and underrepresented in existing robot benchmarks. Measuring this level of generalization requires infrastructure at a scale and diversity that physical evaluation alone cannot provide. We introduce MolmoSpaces, a fully open ecosystem to support large-scale benchmarking of robot policies. MolmoSpaces consists of over 230k diverse indoor environments, ranging from handcrafted household scenes to procedurally generated multiroom houses, populated with 130k richly annotated object assets, including 48k manipulable objects with 42M stable grasps. Crucially, these environments are simulator-agnostic, supporting popular options such as MuJoCo, Isaac, and ManiSkill. The ecosystem supports the full spectrum of embodied tasks: static and mobile manipulation, navigation, and multiroom long-horizon tasks requiring coordinated perception, planning, and interaction across entire indoor environments. We also design MolmoSpaces-Bench, a benchmark suite of 8 tasks in which robots interact with our diverse scenes and richly annotated objects. Our experiments show MolmoSpaces-Bench exhibits strong sim-to-real correlation (R = 0.96, \r{ho} = 0.98), confirm newer and stronger zero-shot policies outperform earlier versions in our benchmarks, and identify key sensitivities to prompt phrasing, initial joint positions, and camera occlusion. Through MolmoSpaces and its open-source assets and tooling, we provide a foundation for scalable data generation, policy training, and benchmark creation for robot learning research.