범용 숙련형 조작을 위한 접촉 범위 기반 탐색 방법

Contact Coverage-Guided Exploration for General-Purpose Dexterous Manipulation

심층 강화 학습(DRL)은 Atari 게임 및 로봇 이동과 같이 명확하게 정의된 보상 구조를 가진 영역에서 뛰어난 성과를 거두었습니다. 반면, 숙련형 조작은 일반적인 보상 체계를 갖추지 못하며, 일반적으로 손-물체 상호 작용을 안내하기 위해 특정 작업에 맞게 설계된 사전 지식에 의존합니다. 본 연구에서는 범용 숙련형 조작 작업에 적합한 일반적인 탐색 방법인 접촉 범위 기반 탐색(CCGE)을 제안합니다. CCGE는 접촉 상태를 물체 표면의 점과 사전에 정의된 손의 주요 지점 간의 교집합으로 표현하며, 숙련형 로봇 손이 다양한 새로운 접촉 패턴을 발견하도록 유도합니다. 구체적으로, CCGE는 학습된 해시 코드를 통해 얻은 이산화된 물체 상태에 따라 접촉 횟수를 계산하여, 각 손가락이 물체의 다양한 영역과 얼마나 자주 상호 작용하는지를 파악합니다. 이 횟수는 다음과 같은 두 가지 상호 보완적인 방식으로 활용됩니다. (1) 새로운 접촉 패턴을 탐색하도록 유도하는 횟수 기반 접촉 범위 보상, (2) 에너지를 기반으로 하는 도달 보상을 사용하여 에이전트를 덜 탐색된 접촉 영역으로 안내합니다. CCGE는 혼잡한 환경에서의 물체 분리, 제한된 환경에서의 물체 회수, 손 안에서의 물체 재배치, 양손 조작 등 다양한 숙련형 조작 작업에 대해 평가되었습니다. 실험 결과, CCGE는 기존 탐색 방법에 비해 학습 효율성과 성공률을 크게 향상시켰으며, CCGE를 통해 학습된 접촉 패턴이 실제 로봇 시스템으로 안정적으로 전송될 수 있음을 확인했습니다. 프로젝트 웹사이트는 https://contact-coverage-guided-exploration.github.io 입니다.

Deep Reinforcement learning (DRL) has achieved remarkable success in domains with well-defined reward structures, such as Atari games and locomotion. In contrast, dexterous manipulation lacks general-purpose reward formulations and typically depends on task-specific, handcrafted priors to guide hand-object interactions. We propose Contact Coverage-Guided Exploration (CCGE), a general exploration method designed for general-purpose dexterous manipulation tasks. CCGE represents contact state as the intersection between object surface points and predefined hand keypoints, encouraging dexterous hands to discover diverse and novel contact patterns, namely which fingers contact which object regions. It maintains a contact counter conditioned on discretized object states obtained via learned hash codes, capturing how frequently each finger interacts with different object regions. This counter is leveraged in two complementary ways: (1) to assign a count-based contact coverage reward that promotes exploration of novel contact patterns, and (2) an energy-based reaching reward that guides the agent toward under-explored contact regions. We evaluate CCGE on a diverse set of dexterous manipulation tasks, including cluttered object singulation, constrained object retrieval, in-hand reorientation, and bimanual manipulation. Experimental results show that CCGE substantially improves training efficiency and success rates over existing exploration methods, and that the contact patterns learned with CCGE transfer robustly to real-world robotic systems. Project page is https://contact-coverage-guided-exploration.github.io.