MANGO-Grasp: 기하학 기반 3차원 가우시안 분포를 이용한 마할라노비스 필드를 활용한 로봇 팔 간 일반화된 숙련형 파지

MANGO-Grasp: Mahalanobis Fields over Geometry-Oriented 3D Gaussians for Cross-Embodiment Dexterous Grasping

로봇 팔 간 일반화된 숙련형 파지는 다양한 형태의 다관절 손에서 특정 로봇에 대한 조정 없이 안정적인 파지를 생성하는 것을 목표로 합니다. 기존의 상호작용 중심 방법들은 유망한 결과를 보여주지만, 객체 표현 방식이 종종 표면의 국소적인 기하학적 정보를 충분히 반영하지 못하며, 로봇 설명자가 로봇의 형태와 운동학적 특성을 명시적으로 포함하지 않습니다. 본 논문에서는 MANGO-Grasp라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 객체를 기하학 기반 3차원 가우시안 원소로 표현하고, 로봇 손을 표면 주요 지점을 이용하여 형태-운동학적 특징으로 인코딩합니다. 객체 원소는 기하학적 복잡도에 따라 적응적으로 할당되며, 표면에 정렬된 평판 형태로 만들어져 표면 방향과 일치하는 외향 벡터를 포함하여 국소적인 기하학 정보를 표현합니다. 주요 지점-원소 쌍에 대한 마할라노비스 필드는 훈련 과정에서 상호작용 예측 목표로 사용되며, 추론 단계에서는 파지 생성의 지침으로 활용됩니다. 이러한 필드는 표면 법선 방향으로는 급격하게 증가하지만, 접평면 내에서는 완만하게 변화하며, 이는 접촉의 방향성을 반영합니다. MANGO-Grasp는 모든 로봇 팔에 대해 하나의 최적화 공식과 하이퍼파라미터 설정을 사용하여 파지를 생성합니다. 시뮬레이션 환경에서 CMAP 및 MultiGripperGrasp 벤치마크에서 MANGO-Grasp는 기존의 특정 로봇에 맞춰 학습된 모델보다 최대 8.24%p 더 높은 성능을 보였습니다. 또한, 새로운 SharpaWave 로봇 팔에 대해 제로샷(zero-shot)으로 적용했을 때, 가장 뛰어난 제로샷 기반 모델보다 최대 16.57%p의 성능 향상을 보였으며, 실제 환경에서의 실험에서는 86%의 성공률을 달성했습니다. 코드 및 추가 자료는 논문 발표 후 https://connor-zh.github.io/MANGO-Grasp/ 에서 제공될 예정입니다.

Cross-embodiment dexterous grasping aims to synthesize stable grasps across heterogeneous multi-fingered hands with little or no embodiment-specific tuning. Existing interaction-centric methods achieve promising results, but their object representations often underrepresent local surface geometry, while their robot descriptors do not explicitly encode both robot morphology and kinematics. We propose MANGO-Grasp, an anisotropic interaction framework that represents objects as geometry-oriented 3D Gaussian primitives and robot hands as surface keypoints encoded into morpho-kinematic descriptors. The object primitives are adaptively allocated by geometric complexity and shaped as surface-aligned plates with outward normals, encoding local geometry. Mahalanobis fields over keypoint--primitive pairs serve as interaction prediction targets during training and as optimization guidance for grasp realization at inference. These fields rise sharply for displacement along the surface normal but only gently within the tangent plane, matching the directional structure of contact. Grasps are realized with one shared optimization formulation and hyperparameter setting across all embodiments. On the CMAP and MultiGripperGrasp benchmarks, MANGO-Grasp outperforms the strongest seen-hand baseline by up to 8.24 percentage points in simulation. It also transfers zero-shot to the unseen SharpaWave hand, improving over the strongest zero-shot baseline by up to 16.57 percentage points, and achieves 86% success in real-world experiments. The code and additional materials will be made available upon publication at https://connor-zh.github.io/MANGO-Grasp/.