UniDexTok: 실제 데이터를 기반으로 한 통일된 정교한 핸드 토크나이저

UniDexTok: A Unified Dexterous Hand Tokenizer from Real Data

정교한 핸드는 미세 조작에 필수적이지만, 하드웨어 설계는 다양한 형태로 존재합니다. 키네마틱스, 관절 정의 및 자유도 차이로 인해 병렬 그리퍼와 비교하여 공유된 상태 표현을 정의하기 어렵습니다. 그 결과, 정교한 핸드 데이터는 단편화되어 있으며 공동 훈련에 사용하기 어렵습니다. 본 연구에서는 인간과 로봇 핸드의 상태를 공유된 22-DoF 의미론적 인터페이스로 매핑하는 Unified Dexterous Hand Model (UDHM)을 제안합니다. UDHM을 기반으로, 표준화된 실제 관절 상태로부터 구현체(embodiment)-조건부 이산 토큰을 학습하는 리타겟팅이 필요 없는 상태 토크나이저인 UniDexTok을 소개합니다. UniDexTok은 리타겟팅이나 시뮬레이션 데이터에 의존하지 않고 다양한 정교한 핸드에 대한 통일된 표현을 제공합니다. 최근의 기준 모델인 UniHM과 비교하여, UniDexTok은 MPJAE를 15.63도에서 0.16도로, MPJPE를 18.51mm에서 0.18mm로 감소시켜 각각 98.98% 및 99.03%의 오류 감소 효과를 보입니다. 이러한 결과는 재구성 정확도를 센티미터 수준에서 밀리미터 이하 수준으로 향상시킵니다. 추가적인 실험은 다른 구현체의 데이터가 목표 구현체의 재구성 정확도를 향상시킨다는 것을 보여주며, 이는 교차 구현체 토크나이징의 이점을 입증합니다. 또한 UniDexTok은 새로운 정교한 핸드가 도입될 때 강력한 제로샷 및 소량 학습 재구성 능력을 보여줍니다.

Dexterous hands are essential for fine-grained manipulation, but their hardware designs vary substantially across embodiments. Differences in kinematics, joint definitions, and degrees of freedom make it difficult to define a shared state representation compared with parallel grippers. As a result, dexterous-hand data remains fragmented and difficult to use for joint training. In this work, we propose the Unified Dexterous Hand Model (UDHM), which maps human and robot hand states into a shared 22-DoF semantic interface. Based on UDHM, we introduce UniDexTok, a retargeting-free state tokenizer that learns embodiment-conditioned discrete tokens from standardized real joint states. UniDexTok provides a unified representation for heterogeneous dexterous hands without relying on retargeting or simulation data. Compared with the recent baseline UniHM, UniDexTok reduces MPJAE from 15.63 degrees to 0.16 degrees and MPJPE from 18.51 mm to 0.18 mm, corresponding to error reductions of 98.98% and 99.03%, respectively. These results improve reconstruction from centimeter-scale to sub-millimeter accuracy. Experiments further show that data from other embodiments improves target-embodiment reconstruction accuracy, demonstrating the benefit of cross-embodiment tokenization. UniDexTok also shows strong zero-shot and few-shot reconstruction ability when new dexterous hands are introduced.