SemAnCorr: 의미 기반 위치 일치(Semantic Anchored Correspondence)를 통한 제로샷 조작 기술 전이

SemAnCorr: Semantic Anchored Correspondence for Zero-Shot Manipulation Skill Transfer

로봇 학습에서 동일한 기능을 수행하지만 형상이 다른 객체 인스턴스로 조작 기술을 이전하는 것은 여전히 중요한 과제입니다. 최근의 대응 방법들은 밀집된 시각적 특징과 3D 특징 필드를 활용하지만, 가장 가까운 이웃 특징 매칭은 종종 공간적으로 일관성이 없는 대응 결과를 생성하며, 이는 안정적인 기술 전이를 위해 필요한 로컬 기하학적 프레임을 복구하는 데 실패합니다. 본 논문에서는 훈련 없이 밀집된 대응을 구축하는 SemAnCorr이라는 새로운 프레임워크를 제시합니다. SemAnCorr은 관절(joint) 자세-대응 최적화를 통해 의미적으로 일관성 있는 기준 영역(anchor regions)을 선택하고, 기능적 맵을 사용하여 이러한 제약을 객체 표면 전체에 전파하여 밀집된 대응을 생성합니다. 결과적으로 생성되는 대응은 의미적 일관성과 기하학적 일관성을 모두 유지하며, 이를 통해 객체 중심의 조작 기술이 형상이 다양한 객체 인스턴스로 전이될 수 있습니다. PartNet-Mobility를 기반으로 구축된 밀집된 대응 벤치마크에서 SemAnCorr을 평가한 결과, 벤치마크 평가에서 90.8%의 의미 정확도를 달성했으며, 최근 최고 성능을 보이는 기존 방법들을 능가하는 기하학적 일관성을 향상시켰습니다. 마지막으로, 이러한 개선 사항이 실제 조작 성능으로 직접적으로 이어짐을 보여줍니다. SemAnCorr은 단일 데모를 통해 기존의 대응 방법보다 훨씬 더 안정적인 제로샷 조작 기술 전이를 이전에 보지 못했던 객체에 구현할 수 있습니다. 비디오 및 추가 시각화 자료는 [https://semancorr.github.io](https://semancorr.github.io) 에서 확인할 수 있습니다.

Transferring manipulation skills across object instances that share functionality but differ in geometry remains a fundamental challenge in robot learning. While recent correspondence methods leverage dense visual descriptors and 3D feature fields, nearest-neighbor feature matching often produces spatially incoherent correspondences that fail to recover the local geometric frames required for reliable skill transfer. We introduce SemAnCorr, a training-free framework that establishes dense correspondence by selecting semantically consistent anchor regions through joint pose-correspondence optimization and propagating these constraints over the object surface using functional maps. The resulting correspondences preserve both semantic consistency and geometric coherence, enabling object-centric manipulation skills to transfer across geometrically diverse instances. We evaluate SemAnCorr on a dense correspondence benchmark built on PartNet-Mobility, achieving 90.8% semantic accuracy in our benchmark evaluation while improving geometric coherence over recent state-of-the-art baselines. Finally, we show that these improvements translate directly into real-world manipulation performance: using a single demonstration, SemAnCorr enables substantially more reliable zero-shot manipulation skill transfer to previously unseen objects than existing correspondence methods. Videos and additional visualizations are available at [https://semancorr.github.io](https://semancorr.github.io) .