AdaReP: 신경망 기반 세계 모델 예측 제어에서의 모델 불일치에 따른 적응적 재계획

AdaReP:Adaptive Re-Planning under Model Mismatch for Neural World-Model Predictive Control

신경망 기반 세계 모델과 모델 예측 제어(MPC)는 환경의 모든 단계에서 재계획을 수행하여 누적된 예측 오차를 제한하지만, 이로 인해 상당한 계산량 부담이 발생합니다. 저장된 계획을 재사용하면 이러한 부담을 줄일 수 있지만, 그 효과는 예측 불일치가 로컬 역학을 통해 어떻게 전파되는지에 따라 달라집니다. 우리는 혼란 기반 동적 후회 프레임워크를 사용하여 이 상충 관계를 분석하고, 오래된 계획에 대한 페널티가 재사용 허용 범위, 마지막 재계획 단계 이후의 누적 불일치 및 로컬 역학 민감도와 함께 증가한다는 것을 보여줍니다. 이러한 구조를 바탕으로, 우리는 AdaReP라는 학습이 필요 없는 래퍼를 제안합니다. AdaReP는 학습된 세계 모델이나 계획기 변경 없이, 현재 캐시된 실행 경로와의 편차와 로컬 민감도 추정치를 사용하여 온라인으로 재계획 허용 범위를 조정합니다. 이미지 공간 계획, 잠재 공간 제어 및 실제 로봇 조작 환경에서, AdaReP는 계획 측면의 계산량을 크게 줄이면서 동시에 비교 가능한 작업 성능을 유지하며, 특히 50회 반복 테스트를 수행한 물리적 로봇 실험에서 80% 이상의 쿼리 감소 효과를 보였습니다.

Neural world models coupled with model predictive control (MPC) replan at every environment step to bound accumulated prediction error, but this incurs substantial computational overhead. Reusing a cached plan reduces this overhead, yet its effectiveness depends on how prediction mismatch propagates through the local dynamics. We analyze this trade-off with a perturbation-based dynamic-regret framework and show that stale-plan penalties scale with the reuse tolerance, the accumulated mismatch since the last replanning step, and the local dynamics sensitivity. Based on this structure, we propose AdaReP, a training-free wrapper that adapts the replanning tolerance online using the current deviation from the cached rollout and a local sensitivity estimate, without modifying the learned world model or planner. Across image-space planning, latent-space control, and real-world robotic manipulation, AdaReP substantially reduces planner-side computation while maintaining comparable task performance, including over 80% fewer queries on a 50-trial physical robot study.