WorldSample: 월드 모델링 기반의 실로봇 강화학습 시스템

WorldSample: Closed-loop Real-robot RL with World Modelling

강화학습(RL)은 로봇이 시연 데이터에 포함되지 않은 상태에서도 시행착오를 통해 성능을 향상시킬 수 있도록 하여, 모방 학습(IL)의 시연 범위 제한 문제를 해결할 수 있습니다. 그러나 실제 로봇에 RL을 적용하는 것은 여전히 높은 상호작용 비용 때문에 제약됩니다. 왜냐하면 각 물리적 실행 과정은 비용이 많이 들고 단 하나의 행동-결과 경로만을 반영하기 때문입니다. 이러한 문제점을 해결하기 위해, 우리는 실제 로봇의 RL을 위한 물리 기반 데이터 증강 프레임워크인 WorldSample을 제안합니다. WorldSample은 실제 실행, 월드 모델 생성 및 정책 개선 간의 폐쇄 루프를 구축하여 실제와 가상 환경 간의 연결을 가능하게 합니다. WorldSample은 실제 실행 데이터를 기반으로, 사전 학습된 월드 모델을 통해 고정밀 합성 트랜지션을 생성하며, 이는 시각적 착시 현상을 크게 줄입니다. 특히, 단순히 이러한 트랜지션을 실제 경험 데이터로 사용하는 대신, WorldSample은 Policy-Paced Learning (PPL)이라는 방식을 도입하여 샘플 선택 및 스케줄링을 통해 학습 과정을 조절합니다. 이를 통해 유용한 증강 효과를 높이고 가치 과대평가를 줄이며, 착시 현상으로 인한 노이즈를 완화합니다. 로봇 조작 작업에 대한 실험 결과, WorldSample은 기준 모델 대비 정책 성공률을 28% 향상시키고 학습 단계를 59% 감소시키는 것으로 나타났습니다. 또한, WorldSample은 시연 데이터만을 사용한 사전 학습 방식에 비해 월드 모델의 시각적 충실도를 PSNR에서 19.4dB, SSIM에서 0.47만큼 향상시켜, 정책 및 월드 모델 성능 모두에 대한 실제-가상 루프의 효과를 검증합니다.

Reinforcement learning (RL) can overcome the demonstration-coverage limitation of imitation learning (IL) by allowing robots to improve through trial-and-error interaction beyond the states observed in demonstrations. However, deploying RL on real robots remains constrained by high interaction costs, since each physical rollout is costly and reflects only one realized action-outcome path. To address this challenge, we propose WorldSample, a physically grounded data augmentation framework for real-robot RL that closes a real-synthetic loop between physical rollouts, world-model generation, and policy improvement. Grounded on real rollouts, WorldSample generates high-fidelity synthetic transitions through a post-trained world model, which greatly lowers the visual hallucination. Specifically, rather than simply using these transitions as real-world experience, WorldSample introduces Policy-Paced Learning (PPL) to regulate the training process through sample selection and scheduling, balancing useful augmentation against value overestimation and mitigating the hallucination-induced noise. Experiments on robot manipulation tasks involving contact-rich and precise tasks show that WorldSample improves policy success rate by 28% while reducing training steps by 59% compared with baselines. Furthermore, WorldSample improves world model visual fidelity by 19.4dB in PSNR and 0.47 in SSIM over demonstration-only post-training, validating the effectiveness of the real-synthetic loop for both policy and world model performance.