GS-에이전트: 생성적 시뮬레이션을 활용한 4차원 물리 세계 구축

GS-Agent: Creating 4D Physical Worlds With Generative Simulation

자연어 설명을 기반으로 동적이고 현실적인 4차원 세계를 만드는 것은 매우 흥미롭고 어려운 과제입니다. 기존의 컴퓨터 그래픽 방법은 수동 제작에 의존하며, 재료, 움직임 및 시각적 충실도를 미세 조정하는 데 상당한 인적 노력이 필요합니다. 최근 생성 기반 모델의 발전으로 인해 대규모 데이터를 활용하여 이러한 4차원 세계를 생성하는 방법에 대한 관심이 높아지고 있지만, 기존 방법은 여전히 물리적 타당성과 제어 가능성을 확보하는 데 어려움을 겪고 있습니다. 본 연구에서는 기존 방식과 다른 접근 방식을 취하여, 기반 모델을 활용하여 인간이 전통적으로 4차원 세계를 만드는 방식을 모방하면서 전체 프로세스를 자동화하는 에이전트 시스템을 구축합니다. 우리는 GS-에이전트를 제시합니다. 이는 물리 엔진을 통합한 엔드 투 엔드 멀티 에이전트 프레임워크로, 자연어 설명을 기반으로 현실적이고 동적이며 제어 가능한 4차원 물리 세계를 생성합니다. 인간이 4차원 세계를 구축하는 방식에서 영감을 받아, GS-에이전트는 작업을 엔터티 관리(3D 자산 큐레이션, 재료 조정, 배치 및 모션 제어)와 렌더링 구성(카메라 및 조명 조작 포함)으로 분해합니다. 다양한 전문 지식을 가진 여러 에이전트가 코드를 통해 물리 엔진과 상호 작용하고, 멀티모달 피드백을 받고 협력하여 주어진 설명에 부합하는 4차원 세계를 반복적으로 구축합니다. 실험 결과는 GS-에이전트가 자연어를 다양한 물리적 타당성을 갖춘 4차원 세계로 효과적으로 변환하며, 액체, 변형 가능한 객체 및 강체의 풍부한 상호 작용을 구현하고, 영화 같은 카메라와 조명 제어를 달성한다는 것을 보여줍니다. 우리는 GS-에이전트가 4차원 세계 생성의 새로운 패러다임을 위한 기반이 될 것이며, 창의적인 콘텐츠 제작과 물리 AI를 발전시킬 수 있을 것으로 기대합니다. 프로젝트 페이지: https://umass-embodied-agi.github.io/gs-agent/

Creating dynamic and physically realistic 4D worlds from natural language descriptions is both fascinating and challenging. Traditional computer graphics methods rely on manual creation, requiring extensive human effort to fine-tune materials, motions, and visual fidelity. Recent advances in generative foundation models have sparked interest in learning to generate such 4D worlds from large-scale data; however, existing methods still struggle to ensure physical plausibility and controllability. In this work, we take a different path by leveraging foundation models to construct an agentic system that emulates how humans traditionally create 4D worlds, yet automates the entire process. We present GS-Agent, an end-to-end multi-agent framework that integrates physics engines in the loop to generate realistic, dynamic, and controllable 4D physical worlds from natural language. Inspired by how humans build 4D worlds, GS-Agent decomposes the task into entity management, covering 3D asset curation, material tuning, placement, and motion control, and rendering configuration, including camera and lighting manipulation. Multiple agents with distinct expertise interact with the physics engine via code, seek multimodal feedback, and collaborate to iteratively construct 4D worlds that align with the given descriptions. Experimental results show that GS-Agent effectively converts natural language into diverse and physically plausible 4D worlds exhibiting rich interactions among liquids, deformable objects, and rigid bodies, while achieving cinematic camera and lighting control. We envision GS-Agent as a foundation for a new paradigm in 4D world generation, empowering creative content creation and physical AI. Project page at https://umass-embodied-agi.github.io/gs-agent/