WorldClaw: 에이전트 기반의 대규모 오픈 월드 3D 콘텐츠 생성

WorldClaw: Agentic 3D Open-World Generation at Scale

개방형 텍스트를 기반으로 방대한 규모의 자유롭게 탐험 가능한 3D 세계를 생성하는 것은 여전히 어려운 과제입니다. 시스템은 전역적인 공간 일관성, 풍부한 지역별 콘텐츠, 그리고 후속 편집 및 재사용에 적합한 명시적인 자산을 동시에 유지해야 하기 때문입니다. 본 논문에서는 완전히 에이전트 기반의, 거칠기-세밀함(coarse-to-fine) 프레임워크인 WorldClaw를 소개합니다. 플래닝 에이전트는 텍스트 프롬프트를 해석하여 지역, 지형, 자산, 재료, 그리고 공간 관계에 대한 구조화된 명세를 생성합니다. WorldClaw는 의미론적 레이아웃, 재사용 가능한 자산, 생성 또는 절차적인 재료, 그리고 영역 인지 높이 필드를 사용하여 전역적으로 일관성 있는 지형 기반을 구축합니다. 세부 정보가 필요한 지역의 경우, 지형 조건에 맞는 구성을 생성하고 편집 가능한 텍스처 메쉬를 복원하며, 이들의 지형 상 위치를 파악합니다. 렌더링 기반 에이전트는 추가적으로 지형, 오브젝트, 외관, 그리고 충돌을 개선합니다. WorldClaw는 다양한 오픈 월드 프롬프트에 대해 일관성 있는 전역 지형 구조를 유지하면서도, 응집력 있는 공간 구성, 시각적으로 매력적인 지역 콘텐츠, 그리고 편집 가능한 인스턴스 레벨 자산을 갖춘 대규모 장면을 생성합니다.

Generating large-scale, freely explorable 3D worlds from open-ended text remains challenging because a system must jointly maintain global spatial coherence, rich local content, and explicit assets suitable for downstream editing and reuse. We present WorldClaw, a fully agentic, coarse-to-fine framework for open-world 3D scene generation. Planning agents translate a text prompt into a structured specification of regions, terrain, assets, materials, and spatial relations. WorldClaw then builds a globally coherent terrain foundation from semantic layouts, reusable assets, generative or procedural materials, and a region-aware height field. For detail-demanding regions, it generates terrain-conditioned compositions, reconstructs editable textured meshes, and recovers their placement on the terrain; render-based agents further refine terrain, objects, appearance, and contacts. Across diverse open-world prompts, WorldClaw produces large-scale scenes with coherent spatial organization, visually compelling local content, and editable instance-level assets while preserving a consistent global terrain structure.