iARCS: 제어 가능한 3D 장면 생성을 위한 반복적 에이전트 기반 강화 학습

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

합성된 3D 장면 생성은 컴퓨터 비전 및 인공지능 분야에서 데이터 소스로 점점 더 많이 활용되고 있지만, 기존의 생성기는 종종 시각적 현실감에 최적화하는 반면, 작업 수행에 중요한 기능적 제약 조건을 안정적으로 만족시키지 못합니다. 이러한 불일치는 접근성, 이동 가능성 및 공간 규칙 준수와 같은 요소가 중요한 후속 학습에서 합성 데이터의 유용성을 제한합니다. 본 논문에서는 사전 훈련된 장면 생성기를 자연어 기반 작업 요구 사항에 맞게 조정하는 반복적 에이전트 기반 강화 학습 프레임워크인 iARCS를 제시합니다. iARCS는 두 단계 전략을 사용합니다. 첫 번째 단계는 물리적 타당성과 레이아웃 품질을 향상시키기 위한 범용 보상 사전 훈련이며, 두 번째 단계는 LLM(대규모 언어 모델)에서 생성된 보상 프로그램을 사용하여 작업별로 미세 조정하며, 학습 피드백으로부터 반복적으로 개선합니다. 실험 결과, iARCS는 보행 가능성, 접근 가능성 및 공간 확보와 관련된 작업에서 제약 조건 준수도가 향상되었으며, 효과적인 작업별 제약 조건 최적화가 이루어졌고, 경쟁력 있는 장면 다양성을 보여주었습니다. 또한, iARCS에 의해 생성된 데이터가 기본 생성기를 개선한다는 점을 통해, iARCS가 단순한 제어 가능한 장면 편집 방법이 아닌 실용적인 합성 데이터 생성 도구로서의 가치를 가지고 있음을 입증합니다.

Synthetic 3D scene generation is increasingly used as a data source for computer vision and embodied AI, but existing generators often optimize perceptual realism without reliably satisfying task-critical functional constraints. This mismatch limits the usefulness of synthetic data for downstream training, where accessibility, traversability, and spatial rule compliance are often essential. We present iARCS, an iterative agentic reinforcement learning framework that adapts a pretrained scene generator to natural-language task requirements. iARCS uses a two-stage strategy: universal-reward pretraining to improve physical plausibility and layout quality, followed by task-specific fine-tuning with LLM-generated reward programs that are iteratively refined from training feedback. Experiments show improved constraint fidelity on walkability, reachability, and clearance-focused tasks, effective task-specific constraint optimization, and competitive scene diversity. We further show that data generated by iARCS improves a base generator, supporting its value as a practical synthetic data generation tool rather than only a controllable scene editing method.