이분법을 넘어서: 물리학 기반 접촉 표현을 활용한 시뮬레이션-실제 환경 간의 정교한 조작

Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation

접촉이 빈번하게 발생하는 조작에서 가장 큰 어려움은 실제 데이터를 수집하는 데 있습니다. 시뮬레이션-실제 강화 학습은 확장 가능한 대안을 제공하지만, 시뮬레이션과 현실 간의 격차로 인해 촉각과 같은 정보 밀도가 높은 방식으로는 효과적인 활용이 어렵습니다. 기존의 시뮬레이션-실제 방법들은 종종 이 격차를 줄이기 위해 촉각 데이터를 단순화된 저차원 특징으로 변환하는데, 이는 복잡한 조작에 필요한 풍부한 정보를 희생시키는 결과를 초래합니다. 본 연구에서는 물리적 원리에 기반하여 밀집된 접촉 정보를 유지하면서도 시뮬레이션-실제 환경 간의 전달(transfer)에 대한 강건성을 확보하는 효과적인 촉각 표현 방식인 '센터 오브 프레셔 (Center-of-Pressure, CoP)'를 제안합니다. 이 표현 방식을 지원하기 위해, 미분 가능한 역학을 기반으로 하는 센서 보정 기법을 제시하여, 실제 힘 측정 없이 택셀(taxel)의 방향을 추정할 수 있도록 합니다. CoP는 두 가지 어려운 접촉 중심 조작 과제인 '핀-인-홀 삽입' 및 '공 균형 잡기'에 대해 평가되었습니다. 두 과제 모두에서 CoP를 기반으로 한 정책은 다중 손가락 로봇 팔에서 즉각적인 시뮬레이션-실제 환경 간의 전달을 달성했으며, 단순한 이진 접촉 방식과 원시 택셀 데이터를 사용하는 기준 성능보다 우수한 결과를 보였습니다. 학습된 정책 상태 분석 결과, CoP 기반 정책은 객체의 질량과 같은 조작에 관련된 물리적 특성을 제어 과정에서 자연스럽게 파악하는 것으로 나타났습니다.

A primary bottleneck in contact-rich manipulation is the difficulty of collecting real-world data. Sim-to-real reinforcement learning offers a scalable alternative, but the simulation-reality gap prevents information-dense modalities like touch from being effectively used. Existing sim-to-real methods often mitigate this gap by simplifying tactile data into coarse low-dimensional features -- sacrificing the richness required for complex manipulation. In this work, we introduce Center-of-Pressure (CoP), an effective tactile representation grounded in physical principles that preserves dense contact information while maintaining robustness for sim-to-real transfer. To support this representation, we propose a sensor calibration scheme based on differentiable dynamics, enabling the estimation of taxel orientations without requiring ground-truth force measurements. We evaluate CoP on two blind, challenging contact-rich manipulation tasks: peg-in-hole insertion and ball balancing. Across both tasks, policies conditioned on CoP achieve zero-shot sim-to-real transfer on a multi-fingered hand, and outperform both coarse binary-contact and raw-taxel baselines. Analysis of learned policy states further suggests that CoP-conditioned policies encode task-relevant physical properties, such as object mass, as an emergent byproduct of control.