RoboPocket: 스마트폰을 사용하여 로봇 정책을 즉시 개선

RoboPocket: Improve Robot Policies Instantly with Your Phone

모방 학습의 확장은 데이터 수집의 효율성에 의해 근본적으로 제약됩니다. 핸드헬드 인터페이스는 실제 환경에서 데이터를 수집하는 확장 가능한 솔루션으로 부상했지만, 대부분 개방 루프 방식으로 작동합니다. 즉, 사용자는 기본 정책의 약점을 알지 못하고 시연 데이터를 수집하므로 중요한 상태 분포를 효율적으로 커버하지 못합니다. 반면에 DAgger와 같은 대화형 방법은 공변량 이동 문제를 효과적으로 해결하지만, 실제 로봇 실행에 의존하며 이는 비용이 많이 들고 확장하기 어렵습니다. 이러한 상충되는 부분을 해결하기 위해, 우리는 단일 소비자 스마트폰을 사용하여 로봇 없이 즉각적인 정책 반복을 가능하게 하는 휴대용 시스템인 RoboPocket을 소개합니다. RoboPocket의 핵심 혁신은 증강 현실(AR) 시각 예측을 통해 정책이 예측하는 경로를 시각화하는 원격 추론 프레임워크입니다. 이 몰입형 피드백을 통해 사용자는 잠재적인 실패를 사전에 파악하고 로봇 없이 정책의 취약한 영역에 데이터 수집을 집중할 수 있습니다. 또한, 우리는 비동기 온라인 미세 조정 파이프라인을 구현하여 수신되는 데이터로 정책을 지속적으로 업데이트하여 학습 루프를 몇 분 안에 닫습니다. 광범위한 실험 결과, RoboPocket은 데이터 확장 법칙을 준수하며 오프라인 확장 전략과 비교하여 데이터 효율성을 2배 향상시켜 오랫동안 지속되어 온 효율성 병목 현상을 극복합니다. 또한, 당사의 즉각적인 반복 루프는 소수의 사용자가 수행하는 작은 수의 대화형 수정만으로 분산 환경에서 샘플 효율성을 최대 2배까지 향상시킵니다. 프로젝트 페이지 및 동영상: https://robo-pocket.github.io.

Scaling imitation learning is fundamentally constrained by the efficiency of data collection. While handheld interfaces have emerged as a scalable solution for in-the-wild data acquisition, they predominantly operate in an open-loop manner: operators blindly collect demonstrations without knowing the underlying policy's weaknesses, leading to inefficient coverage of critical state distributions. Conversely, interactive methods like DAgger effectively address covariate shift but rely on physical robot execution, which is costly and difficult to scale. To reconcile this trade-off, we introduce RoboPocket, a portable system that enables Robot-Free Instant Policy Iteration using single consumer smartphones. Its core innovation is a Remote Inference framework that visualizes the policy's predicted trajectory via Augmented Reality (AR) Visual Foresight. This immersive feedback allows collectors to proactively identify potential failures and focus data collection on the policy's weak regions without requiring a physical robot. Furthermore, we implement an asynchronous Online Finetuning pipeline that continuously updates the policy with incoming data, effectively closing the learning loop in minutes. Extensive experiments demonstrate that RoboPocket adheres to data scaling laws and doubles the data efficiency compared to offline scaling strategies, overcoming their long-standing efficiency bottleneck. Moreover, our instant iteration loop also boosts sample efficiency by up to 2$\times$ in distributed environments a small number of interactive corrections per person. Project page and videos: https://robo-pocket.github.io.