FeelWorld: 계층적 접촉 예측 및 계획을 위한 시각-촉각 세계 모델

FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning

사람들은 가능한 행동의 결과를 상상하여 물리적인 상호 작용을 계획합니다. 그러나 기존의 시각 세계 모델은 주로 외관 동역학을 파악하는 데 중점을 두며, 접촉이 빈번한 상호 작용을 지배하는 촉각 상태를 간과할 수 있습니다. 이는 시각적으로는 그럴듯해 보이지만 물리 법칙을 위반하는 상상된 미래를 초래할 수 있습니다. 본 논문에서는 시각 및 세 가지 촉각 상태를 동시에 예측하는 계층적 시각-촉각 세계 모델인 FeelWorld를 소개합니다. FeelWorld는 이러한 상태들을 접촉 상태, 힘과 관련된 정보를 인코딩하는 3차원 촉각 잠재 변수, 그리고 미끄러짐 상태로 계층적으로 구성합니다. 이러한 상태들은 명시적인 감독 하에 공유된 잠재 동역학 모델을 통해 함께 예측됩니다. 자유 공간에서의 움직임 중에 관련 없는 촉각 신호가 시각 예측 성능을 저하시키는 것을 방지하기 위해, 접촉 전에 시각 정보만을 사용하는 예측 경로를 유지하고, 접촉 동안에는 시각 및 촉각 정보를 함께 활용하는 비대칭 어텐션 메커니즘인 '접촉 게이팅'을 도입했습니다. 또한, 모델은 오토레그레시브 롤아웃과 컨텍스트 노이즈 주입을 통해 복합적인 오류에 대한 강건성을 향상하도록 학습되었습니다. 예측된 접촉 및 미끄러짐 상태는 접촉 인지 CEM 계획을 지원합니다. 칩 집기, 과일 집기, USB 삽입 실험 결과, FeelWorld는 10단계 LPIPS 값을 0.084에서 0.058로 줄였으며, 80단계 오토레그레시브 롤아웃 후에도 시각 기반 모델보다 61% 낮은 LPIPS 값을 유지했습니다. 또한, FeelWorld는 평균 81.7%의 제로샷 계획 성공률을 달성하여, 세계 모델에 촉각 감지를 통합하는 효과적인 방법을 제공합니다.

Humans plan physical interactions by imagining the possible outcomes of candidate actions. However, existing visual world models primarily capture appearance dynamics while overlooking the tactile states that govern contact-rich interactions, potentially producing imagined futures that appear visually plausible but violate physical dynamics. We introduce FeelWorld, a hierarchical visuo-tactile world model that jointly predicts future visual latents and three tactile states. FeelWorld organizes these states hierarchically as contact state, a 3D tactile latent that encodes force-related information, and slip state. These states are jointly predicted by a shared latent dynamics model with explicit supervision. To prevent irrelevant tactile signals during free-space motion from degrading visual prediction, we introduce a contact-gated asymmetric attention mechanism that maintains a visual-only prediction pathway before contact and enables joint visuo-tactile dynamics prediction during contact. The model is further trained with autoregressive rollouts and context noise injection to improve robustness to compounding errors. The predicted contact and slip states also support contact-aware CEM planning. Experiments on chip grasping, fruit grasping, and USB insertion show that FeelWorld reduces 10-step LPIPS from 0.084 to 0.058 and maintains an LPIPS that is 61% lower than that of the visual baseline after an 80-step autoregressive rollout. FeelWorld also achieves an average zero-shot planning success rate of 81.7%, providing an effective approach for incorporating tactile sensing into world models.