실제 환경 기반 시뮬레이션-실제 환경 연동 촉각 정책 학습을 통한 촉각 기반 정교한 잡기

Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning

촉각만을 이용한 정교한 잡기는 중요한 조작 능력입니다. 그러나 실제 로봇에 대한 이러한 촉각 기반 정책 학습은 촉각 데이터의 시뮬레이션과 실제 환경 간의 차이, 그리고 희소한 촉각 신호의 표현력 부족으로 인해 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 물리적인 다관절 로봇 손에 적용 가능한 촉각 기반 잡기 프레임워크를 제안합니다. 우리 접근 방식은 세 가지 주요 구성 요소로 이루어져 있습니다. 첫째, 실제 촉각 신호를 재현할 수 있는 접촉 정보가 보정된 디지털 트윈 시뮬레이터를 구축하는 Real2Sim 촉각 보정 파이프라인을 소개합니다. 둘째, 센서 기하학적 정보를 활용한 레이아웃 기반 촉각 인코더를 사용하여 희소한 촉각 관측의 표현력을 향상시킵니다. 셋째, 실제 환경에서 본 적 없는 물체에 대한 일반화 성능을 높이기 위해, 보정된 시뮬레이터 내에서 객체별 강화 학습 전문가 모델을 훈련하고 성공적인 잡기 경로를 촉각 정보에 기반한 Diffusion Policy로 통합합니다. LEAP Hand 로봇 손에 부착된 10개의 알려진 물체와 10개의 알려지지 않은 물체를 사용하여 제안하는 방법을 평가한 결과, 실제 환경에서 27%의 잡기 성공률을 달성했습니다. 이는 실제 잡기 데모나 시각 정보 없이도 가능합니다. 시뮬레이션 실험 결과를 통해 레이아웃 기반 촉각 사전 학습이 잡기 성능 향상에 기여하며, 센서 수준 평가를 통해 Real2Sim 보정이 시뮬레이션과 하드웨어 간의 촉각 접촉 이벤트 일관성을 높임을 확인했습니다. 이러한 결과는 접촉 이벤트 보정, 기하학적 정보를 고려한 촉각 표현 학습, 그리고 Diffusion 기반 정책 통합이 실제 정교한 로봇 손에서 촉각 기반 잡기를 구현하는 효과적인 방법임을 시사합니다. 프로젝트 페이지: Dex-Blind-Grasp.github.io.

Blind grasping with a dexterous hand is a crucial manipulation capability. Nevertheless, learning such tactile-only policies for real robots remains challenging due to the tactile sim-to-real gap and the limited expressiveness of sparse tactile signals. To bridge this gap, we propose a framework for tactile-only blind grasping that is deployable on a physical multi-fingered robotic hand. Our approach combines three key components. First, we introduce a Real2Sim tactile calibration pipeline that constructs a contact-calibrated digital-twin simulator capable of reproducing real tactile signals. Second, we improve the expressiveness of sparse tactile observations using a layout-aware tactile encoder, which incorporates sensor-geometry priors through self-supervised pretraining. Third, to improve generalization to unseen objects, we train object-specific reinforcement-learning experts in the calibrated simulator and aggregate their successful grasp trajectories into a tactile-conditioned Diffusion Policy. We evaluate our method on a physical LEAP Hand equipped with distributed tactile sensing across 10 seen and 10 unseen objects. The deployed policy achieves a 27\% real-world grasp success rate across all 20 objects, without real-world grasping demonstrations or visual input. Simulation ablations show that layout-aware tactile pretraining improves grasping performance, while sensing-level evaluations confirm that Real2Sim calibration increases the consistency of tactile contact events between simulation and hardware. Together, these results suggest that contact-event calibration, geometry-aware tactile representation learning, and diffusion-based policy aggregation provide an effective path toward tactile-only blind grasping on real dexterous robotic hands. Project page:Dex-Blind-Grasp.github.io.