Mana: 정교한 로봇을 위한 유연 도구 조작

Mana: Dexterous Manipulation of Articulated Tools

유연 도구 조작은 내부 자유도와 복잡한 접촉 상호 작용을 조정해야 하므로, 정교한 로봇 공학 분야에서 주요 과제로 남아 있습니다. 기존 연구는 주로 강체 물체에 초점을 맞춘 반면, 유연 도구 사용은 물리적 복잡성과 기능적인 잡기 및 조작 정책 학습의 어려움으로 인해 상대적으로 덜 연구되었습니다. 본 논문에서는 Mana (Manipulation Animator)라는 일반적인 시뮬레이션-실제 적용 프레임워크를 제시합니다. Mana는 정교한 조작을 애니메이션 문제로 재해석하며, 컴퓨터 애니메이션에서 영감을 받아 절차적으로 생성된 잡기 키프레임을 모션 계획 및 강화 학습을 통해 조작 경로로 변환하는 세분화된 파이프라인을 사용합니다. 데이터 생성 과정은 대부분 자동화되어 있으며, 기능적 특성을 지정하는 데 몇 번의 마우스 클릭만 필요합니다 (도구당 1분 미만). 다양한 크기와 관절 유형의 네 가지 유연 도구를 대상으로 Mana는 시뮬레이션에서 학습한 결과를 실제 환경에 적용하여 잡기 및 손 안에서의 조작 모두에서 뛰어난 성능을 보였습니다. 이는 정교한 유연 도구 사용에 대한 확장 가능한 접근 방식임을 입증합니다.

Articulated tool manipulation remains a major challenge in dexterous robotics due to the need to coordinate internal degrees of freedom and contact-rich interactions. While prior work has largely focused on rigid objects, articulated tool use remains underexplored because of its physical complexity and the difficulty of learning functional grasping and manipulation policies. We present Mana (Manipulation Animator), a general sim-to-real framework that reinterprets dexterous manipulation as an animation problem. Inspired by computer animation, Mana employs a coarse-to-fine pipeline that transforms procedurally-generated grasp keyframes into manipulation trajectories through motion planning and reinforcement learning. The data generation process is largely automatic, requiring only a few mouse clicks to specify functional affordances (<1 minute per tool). Across four articulated tools spanning different scales and joint types, Mana achieves zero-shot sim-to-real transfer for both grasping and in-hand manipulation, demonstrating a scalable approach to dexterous articulated tool use.