AnyTouch 2: 동적 촉각 인식을 위한 일반적인 광학 촉각 표현 학습

AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception

실제 환경에서의 복잡한 조작은 로봇이 시간적 촉각 피드백을 인식하고, 미세한 표면 변형을 감지하며, 물체의 특성과 힘의 역학에 대해 추론할 수 있도록 요구합니다. 광학 촉각 센서는 이러한 풍부한 정보를 제공하는 데 독특한 장점을 가지고 있지만, 기존의 촉각 데이터셋과 모델은 여전히 제한적입니다. 이러한 자료는 주로 물체 수준의 속성(예: 재질)에 초점을 맞추고, 물리적 상호 작용 중 발생하는 미세한 시간적 촉각 역학을 충분히 고려하지 못하는 경우가 많습니다. 우리는 동적 촉각 인식 능력을 향상시키기 위해서는 데이터 수집과 모델 설계 모두를 안내할 수 있는 체계적인 역량 계층 구조가 필요하다고 생각합니다. 풍부한 동적 정보를 포함하는 촉각 데이터의 부족 문제를 해결하기 위해, 우리는 촉각 기본 동작, 실제 조작, 그리고 촉각-힘 결합 데이터를 포함하는 대규모 계층적 촉각 데이터셋인 ToucHD를 제안합니다. ToucHD는 규모 면에서 뿐만 아니라, 데이터 관점에서 계층적인 인식 능력을 명시적으로 지원하는 포괄적인 촉각 동적 데이터 생태계를 구축합니다. 이를 바탕으로, 우리는 다양한 광학 촉각 센서에 적용 가능한 일반적인 촉각 표현 학습 프레임워크인 AnyTouch 2를 제안합니다. 이 프레임워크는 물체 수준의 이해와 미세한, 힘을 고려한 동적 인식 능력을 통합합니다. AnyTouch 2는 프레임 간의 픽셀 수준 및 동작별 변형을 모두 포착하고, 물리적 힘의 역학을 명시적으로 모델링하여, 모델 관점에서 다층적인 동적 인식 능력을 학습합니다. 우리는 정적 물체 속성 및 동적 물리적 속성을 포함하는 벤치마크뿐만 아니라, 다양한 수준의 동적 인식 능력을 요구하는 실제 조작 작업을 통해 제안하는 모델을 평가했습니다. 실험 결과는 다양한 센서와 작업에서 일관되고 강력한 성능을 보여줍니다.

Real-world contact-rich manipulation demands robots to perceive temporal tactile feedback, capture subtle surface deformations, and reason about object properties as well as force dynamics. Although optical tactile sensors are uniquely capable of providing such rich information, existing tactile datasets and models remain limited. These resources primarily focus on object-level attributes (e.g., material) while largely overlooking fine-grained tactile temporal dynamics during physical interactions. We consider that advancing dynamic tactile perception requires a systematic hierarchy of dynamic perception capabilities to guide both data collection and model design. To address the lack of tactile data with rich dynamic information, we present ToucHD, a large-scale hierarchical tactile dataset spanning tactile atomic actions, real-world manipulations, and touch-force paired data. Beyond scale, ToucHD establishes a comprehensive tactile dynamic data ecosystem that explicitly supports hierarchical perception capabilities from the data perspective. Building on it, we propose AnyTouch 2, a general tactile representation learning framework for diverse optical tactile sensors that unifies object-level understanding with fine-grained, force-aware dynamic perception. The framework captures both pixel-level and action-specific deformations across frames, while explicitly modeling physical force dynamics, thereby learning multi-level dynamic perception capabilities from the model perspective. We evaluate our model on benchmarks that covers static object properties and dynamic physical attributes, as well as real-world manipulation tasks spanning multiple tiers of dynamic perception capabilities-from basic object-level understanding to force-aware dexterous manipulation. Experimental results demonstrate consistent and strong performance across sensors and tasks.