희소 분류 지침을 활용한 숙련된 잡기 학습

Learning Dexterous Grasping from Sparse Taxonomy Guidance

숙련된 조작은 물체와 작업에 적합한 잡기 구성을 계획하고, 이를 통해 여러 개의 손가락을 조정하여 실행하는 것을 필요로 합니다. 그러나, 모든 물체와 작업에 대해 자세 또는 접촉 지점을 포함하는 상세한 잡기 계획을 지정하는 것은 비현실적입니다. 반면, 작업 보상만을 이용한 엔드-투-엔드 강화 학습은 제어 가능성이 부족하여, 오류 발생 시 사용자가 개입하기 어렵습니다. 이에, 본 연구에서는 희소한 분류 지침을 활용하여 숙련된 제어를 학습하는 두 단계 프레임워크인 GRIT을 제안합니다. GRIT은 먼저 장면 및 작업 컨텍스트로부터 분류 기반의 잡기 사양을 예측합니다. 이 희소한 명령을 기반으로, 정책은 작업을 수행하면서 의도된 잡기 구조를 유지하는 연속적인 손가락 움직임을 생성합니다. 실험 결과, 특정 잡기 분류가 특정 물체의 기하학적 구조에 더 효과적인 것으로 나타났습니다. 이러한 관계를 활용하여, GRIT은 기존 방식보다 새로운 물체에 대한 일반화 성능을 향상시키고, 87.9%의 전체 성공률을 달성했습니다. 또한, 실제 환경에서의 실험은 제어 가능성을 입증하며, 물체의 기하학적 구조와 작업 의도를 기반으로 고급 분류 선택을 통해 잡기 전략을 조정할 수 있음을 보여줍니다.

Dexterous manipulation requires planning a grasp configuration suited to the object and task, which is then executed through coordinated multi-finger control. However, specifying grasp plans with dense pose or contact targets for every object and task is impractical. Meanwhile, end-to-end reinforcement learning from task rewards alone lacks controllability, making it difficult for users to intervene when failures occur. To this end, we present GRIT, a two-stage framework that learns dexterous control from sparse taxonomy guidance. GRIT first predicts a taxonomy-based grasp specification from the scene and task context. Conditioned on this sparse command, a policy generates continuous finger motions that accomplish the task while preserving the intended grasp structure. Our result shows that certain grasp taxonomies are more effective for specific object geometries. By leveraging this relationship, GRIT improves generalization to novel objects over baselines and achieves an overall success rate of 87.9%. Moreover, real-world experiments demonstrate controllability, enabling grasp strategies to be adjusted through high-level taxonomy selection based on object geometry and task intent.