시간에 따른 검색, 주파수에 따른 교정: 시계열 Vision-Language-Action (VLA) 정책 개선

Retrieve in Time, Correct in Frequency

기존의 VLA 정책은 시간적으로 확장된 동작 단위를 생성하지만, 장기적인 조작 작업에서 누적된 실행 오류와 작업 단계 간의 시각적 왜곡에 취약합니다. 성공적인 실행 결과는 유용한 교정 정보를 제공하지만, 현재 프레임 검색 방식은 진행 상황과 일치하지 않는 동작을 반환할 수 있으며, 직접적인 재사용 또는 시간 영역 융합은 정책 제안의 반응형 구조를 손상시킬 수 있습니다. 본 논문에서는 모델 측면에서의 오버헤드가 낮은 교정 프레임워크인 Retrieve in Time, Correct in Frequency (RTCF)를 소개합니다. RTCF는 어떤 경험을 검색할 것인지와 어떤 동작 부분을 전송할 것인지 분리하여 VLA 성능을 향상시킵니다. Progressive Memory Alignment (PMA)는 점진적으로 업데이트되는 단조적인 경계를 통해 시각적 실행 기록과 전체 성공 경로를 인과적으로 연결하며, 단계 레이블 없이 관련 메모리와 현재 정렬된 메모리 위치를 동시에 식별합니다. RTCF는 정렬된 동작 단위에서 모션 채널에 대한 계수 기반 클리핑을 적용하여 저주파 잔류 성분을 전송하고, 고주파 구성 요소와 그리퍼 결정은 기존의 VLA 정책으로부터 그대로 유지합니다. LIBERO 스위트 4가지 및 조건별 2,000 에피소드 실험 결과, RTCF는 전체 성공률을 86.4%에서 88.4%로 향상시키고, LIBERO-Long의 성공률을 61.6%에서 68.6%로 개선했습니다. 이러한 성능 향상은 파라미터 업데이트, 반복적인 VLA 추론 또는 추가적인 GPU 리소스 없이 가능합니다. 교정은 단일 정책 호출 후 클라이언트 CPU에서 수행할 수 있으며, 중앙값 지연 시간의 합계는 동작 단위당 10.99ms에 불과합니다.

Frozen vision-language-action (VLA) policies generate temporally extended action chunks, but long-horizon manipulation remains vulnerable to accumulated execution error and visual aliasing across task stages. Successful rollouts provide useful corrective evidence, yet current frame retrieval can return progress-misaligned actions,while direct replay or time-domain fusion can overwrite the reactive structure of the policy proposal. We introduce Retrieve in Time, Correct in Frequency (RTCF), a training-free test-time correction framework that improves frozen VLA performance with low model-side overhead.RTCF separates which experience to retrieve from which part of its action to transfer. Progressive Memory Alignment (PMA) causally aligns the growing visual execution history with complete successful trajectories through incrementally updated monotonic frontiers, jointly identifying a relevant memory and the current aligned memory position without stage labels. From the aligned action chunk,RTCF transfers a coefficient-wise-clipped low-frequency residual on motion channels. Higher-frequency components and gripper decisions remain inherited from the frozen policy. Across four LIBERO suites and 2,000 episodes per condition, RTCF raises aggregate success from 86.4% to 88.4% and improves LIBERO-Long from 61.6% to 68.6%.These gains require no parameter updates, repeated VLA inference, or additional GPU resources: correction can be performed on the client CPU after a single policy invocation, and the median latencies sum to only 10.99 ms per action chunk