ReTouch: 온라인으로 개선된 촉각 예측을 통한 정교한 조작 능력 향상

ReTouch: Empowering Contact-Rich Dexterous Manipulation with Online-Refined Tactile Prediction

촉각 신호를 결합하는 것은 접촉이 빈번한 조작에 효과적이며, 로봇이 접촉 상태를 인식하고 빠르게 변화하는 물리적 상호 작용에 적응할 수 있도록 합니다. 그러나 촉각 피드백을 정교한 조작에 효과적으로 통합하는 방법은 아직 충분히 연구되지 않았습니다. 본 논문에서는 실행 중인 피드백을 통해 지속적으로 개선되는 촉각 예측 기능을 지원하여 접촉이 빈번한 정교한 조작을 가능하게 하는 비전-언어-행동 모델(VLA)인 ReTouch를 소개합니다. ReTouch는 촉각 표현 및 폐루프 행동 생성에 대한 두 가지 주요 혁신을 기반으로 합니다. 첫째, Tactile-Patch Encoder는 촉각 관찰을 구조화된 촉각 패치 특징으로 표현하여 손가락 식별과 국소적인 접촉 구조를 보존하고, 정교한 제어를 위한 접촉 정보를 제공합니다. 둘째, 고주파 행동 모듈은 미래의 촉각 상태와 행동 단위를 동시에 예측하고, 실행 중에 들어오는 촉각 피드백을 사용하여 이들을 개선합니다. 이러한 폐루프 개선은 촉각 예측을 진화하는 물리적 상호 작용에 맞게 유지하여 응답적인 행동 수정과 접촉 변화 및 실행 오류에 대한 견고성을 향상시킵니다. 또한, 7가지 접촉이 빈번한 작업에 대한 900개의 실제 시연 데이터를 포함하는 XHT-Dataset을 소개하고, XHand--UR7e 플랫폼에서 수행된 폐루프 실시간 로봇 실험을 통해 ReTouch의 성능을 평가했습니다. ReTouch는 표준 조건 및 어려운 조건 모두에서 평균 성공률이 가장 강력한 기준 모델보다 각각 18.4%p 및 23.8%p 더 높은 것으로 나타났으며, 이는 ReTouch의 효과성과 견고성을 입증합니다.

Fusing tactile signals has proven effective for contact-rich manipulation, enabling robots to perceive contact states and adapt to rapidly changing physical interactions. Yet effectively integrating tactile feedback into dexterous manipulation remains underexplored. In this work, we introduce ReTouch, a vision-language-action model (VLA) that supports contact-rich dexterous manipulation through tactile predictions continually refined online using execution-time feedback. ReTouch builds on two main innovations for tactile representation and closed-loop action generation. First, its Tactile-Patch Encoder represents tactile observations as structured tactile patch features that preserve finger identity and local contact structure, providing contact cues for fine-grained dexterous control. Second, its high-frequency action module jointly predicts future tactile states and action chunks and refines both using incoming tactile feedback during execution. This closed-loop refinement keeps tactile predictions aligned with evolving physical interactions, enabling responsive action correction and improving robustness to contact changes and execution errors. We further introduce XHT-Dataset, comprising 900 real-world demonstrations across seven contact-rich tasks collected on an XHand--UR7e platform, and evaluate ReTouch through closed-loop real-robot experiments. ReTouch surpasses the strongest baseline by 18.4 and 23.8 percentage points in average success rate under standard and challenging conditions, respectively, demonstrating its effectiveness and robustness.