DexDirect: 효율적인 숙련형 동작 시연 수집을 위한 직접적인 촉각 기반 로봇 팔 안내 시스템

DexDirect: Direct Kinesthetic Arm Guidance for Efficient Dexterous Demonstration Collection

숙련된 조작 기술 학습에 필요한 데이터 확보는 여전히 중요한 과제입니다. 고정밀 인터페이스는 일반적으로 값비싼 하드웨어와 복잡한 설정이 필요하지만, 간편하고 저렴한 대안은 정밀도가 떨어지고 작업자에게 더 큰 인지적 부담을 줄 수 있습니다. 본 연구에서는 효율적인 숙련형 동작 시연 수집을 위한 직접적인 촉각 기반 로봇 팔 안내 시스템인 DexDirect를 제안합니다. 사용자는 6 자유도(DoF)의 중력 보상 로봇 팔을 직접 조작하며, 단일 웹캠은 사용자의 다른 손 움직임을 16개의 관절을 가진 13-DoF 숙련형 로봇 팔에 실시간으로 매핑합니다. 사용자 연구 결과, DexDirect는 순수 시각 기반(AnyTeleop) 및 자세 추적 기반(TeleDex) 시스템과 비교하여 각각 17.2배와 3.2배 더 많은 성공적인 시연 데이터를 수집할 수 있었습니다. 수정된 NASA-TLX 설문 조사 결과, DexDirect는 정신적 부담, 노력, 좌절감을 크게 줄이는 반면, 신체적 부담은 약간 증가시키는 것으로 나타났습니다. DexDirect로 수집된 시연 데이터로 학습된 확산 정책 기반 제어기는 큐브 옮기기 작업에서 90%의 성공률을 달성했습니다. 이러한 결과는 직접적인 촉각 기반 로봇 팔 안내와 시각 기반 손 제어가 결합된 시스템이 숙련된 조작 기술 시연 데이터 수집을 위한 효율적이고 간편하며 확장 가능한 인터페이스를 제공할 수 있음을 보여줍니다.

Scalable collection of dexterous manipulation demonstrations remains a major bottleneck for robot learning. High-fidelity interfaces often require costly hardware and extensive setup, while low-setup, low cost alternatives tend to provide less precise control and impose greater cognitive workload on operators. We present DexDirect, a direct kinesthetic arm guidance for efficient dexterous demonstration collection. The operator drags a 6-DoF gravity-compensated robot arm directly by a handle, while a single webcam retargets operator's other hand onto a 16 joints 13-DoF dexterous robot hand. User studies suggest DexDirect collects 17.2x and 3.2x more successful demonstrations compared to purely vision (AnyTeleop) and pose-tracking (TeleDex) baselines. An adapted NASA-TLX shows DexDirect greatly reduces mental demand, effort, and frustration, despite raising physical demand. A diffusion policy trained on DexDirect demonstrations reaches a 90% success rate on a cube pick-and-place task. These results suggest that direct kinesthetic arm guidance combined with vision-based hand retargeting provides an efficient low-setup and scalable interface for collecting dexterous manipulation demonstrations