DECO: 플러그인 촉각 어댑터를 사용한 양손 협응 능숙 조작을 위한 분리형 다중 모드 디퓨전 트랜스포머

DECO: Decoupled Multimodal Diffusion Transformer for Bimanual Dexterous Manipulation with a Plugin Tactile Adapter

양손 협응 능숙 조작은 복잡한 실세계 작업을 수행하기 위해 다양한 입력 정보를 통합하는 것을 필요로 합니다. 이러한 다양한 모드 정보를 효과적으로 결합하는 데 있어 어려움을 해결하기 위해, 본 연구에서는 시각, 고유수용성, 촉각 신호를 특수 조건화 경로를 통해 분리하는 분리형 다중 모드 디퓨전 트랜스포머인 DECO를 제안합니다. DECO는 구조화되고 제어 가능한 다중 모드 정보 통합을 가능하게 하며, 추가 신호를 효율적으로 주입하기 위한 경량 어댑터를 사용합니다. 또한, 본 연구에서는 촉각 센서를 사용한 양손 협응 능숙 조작을 위한 DECO-50 데이터셋을 공개합니다. 이 데이터셋은 실제 양팔 로봇을 사용한 원격 조작을 통해 수집된 50시간 분량의 데이터와 5백만 프레임 이상으로 구성되어 있습니다. DECO는 DECO-50 데이터셋으로 학습되었으며, 2,000건 이상의 실제 로봇 실험을 통해 성능을 평가했습니다. 실험 결과, DECO는 모든 작업에서 가장 뛰어난 성능을 보였으며, 평균 성공률이 72.25%로, 기존 모델 대비 21% 향상되었습니다. 또한, 촉각 어댑터는 모든 작업에서 평균적으로 10.25%의 추가적인 성공률을 가져왔으며, 복잡한 접촉이 많은 작업에서는 20%의 성능 향상을 보였습니다. 이 모든 것은 모델 파라미터의 10% 미만을 튜닝하여 달성되었습니다.

Bimanual dexterous manipulation relies on integrating multimodal inputs to perform complex real-world tasks. To address the challenges of effectively combining these modalities, we propose DECO, a decoupled multimodal diffusion transformer that disentangles vision, proprioception, and tactile signals through specialized conditioning pathways, enabling structured and controllable integration of multimodal inputs, with a lightweight adapter for parameter-efficient injection of additional signals. Alongside DECO, we release DECO-50 dataset for bimanual dexterous manipulation with tactile sensing, consisting of 50 hours of data and over 5M frames, collected via teleoperation on real dual-arm robots. We train DECO on DECO-50 and conduct extensive real-world evaluation with over 2,000 robot rollouts. Experimental results show that DECO achieves the best performance across all tasks, with a 72.25% average success rate and a 21% improvement over the baseline. Moreover, the tactile adapter brings an additional 10.25% average success rate across all tasks and a 20% gain on complex contact-rich tasks while tuning less than 10% of the model parameters.