촉각 기반 WAM: 촉각 정보를 활용한 시각적 세계 행동 모델 및 비대칭 어텐션

Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention

세계 행동 모델(WAM)은 미래의 시각적 정보와 행동을 동시에 예측하지만, 시각적 정보만으로는 미끄러짐, 걸림 현상, 접촉 방향 변화, 그리고 접촉이 중요한 조작 과정에서 발생하는 미세한 불일치를 파악하기 어렵습니다. 촉각 신호는 이러한 숨겨진 물리적 상태를 드러내지만, 단순히 촉각 데이터를 추가하면 제한된 데이터 규모로 인해 시각적 동역학 모델링에 혼란을 초래할 수 있습니다. 우리는 이를 '촉각 오염'이라고 명명합니다. 본 연구에서는 비대칭 어텐션을 사용하여 비디오 쿼리가 촉각 정보를 참조하지 않도록 하면서, 행동 쿼리에는 촉각 정보가 활용될 수 있도록 하는 Tactile-WAM을 제안합니다. 또한, 접촉 변화를 인지하는 편향을 통해 행동 예측 시 촉각 정보에 대한 어텐션 강도를 높입니다. 촉각 픽셀의 변화가 항상 접촉 변화를 정확하게 반영하지 않기 때문에, 우리는 관측된 프록시 변화를 사용하여 어텐션 편향을 유도하고, 미래 프록시 감독 학습을 통해 예측된 촉각 표현에서 행동과 관련된 접촉 역학을 유지합니다. ManiFeel 데이터셋에서 시각적 경로 분리 방법을 사용했을 때, RGB 정보만 사용하는 경우와 비교하여 평균 제곱 오차(MSE) 측면에서 21.8%의 성능 향상을 보였으며, 이는 통계적으로 유의미한 변화 없이 실제 비디오 품질은 거의 변하지 않았습니다. 전체 모델은 평균 성공률을 15.6%에서 32.7%로 향상시켰으며, VideoClean 데이터셋이 가장 큰 효과를 가져다주었습니다. 또한, 실제 로봇 환경에서의 다섯 가지 작업에서 Tactile-WAM은 49.2%의 성공률을 달성했습니다.

World Action Models (WAMs) jointly predict future visual observations and actions, but visual futures alone often miss slip, jamming, contact-direction changes, and subtle misalign- ment in contact-rich manipulation. Tactile signals reveal these hidden physical states, yet naive tactile-token injection can disrupt visual dynamics modeling due to the limited scale of tactile data, a phenomenon we term tactile pollution. We in- troduce Tactile-WAM, which uses asymmetric attention to block video queries from tactile keys while preserving tac- tile access for action queries. A contact-change-aware bias further strengthens action attention to touch. Because tactile pixel changes do not reliably reflect contact changes, we derive Observed proxy changes drive the attention bias, while future- proxy supervision preserves action-relevant contact dynamics in predicted tactile representations. On ManiFeel, visual-path isolation reduces deviation from the RGB-only trajectory by 21.8% in MSE at the step-matched 20K checkpoint without a statistically detectable change in ground-truth video qual- ity. The full model improves average success from 15.6% to 32.7%, with VideoClean providing the largest gain. On five real-robot tasks, Tactile-WAM achieves 49.2% success.