UniTac: 교차 센서 촉각 이해 및 생성 시스템을 위한 통합 다중 모드 모델

UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation

통합 다중 모드 모델(Unified Multimodal Models, UMMs)은 다양한 모달리티 간의 이해와 생성을 통합하는 데 큰 잠재력을 보여왔습니다. 그러나 기존 연구에서는 객체 수준의 의미론과 센서 수준의 구성이 함께 촉각의 의미를 결정하는 촉각 영역으로 이러한 패러다임을 확장하는 경우는 드뭅니다. 이러한 격차를 해결하기 위해, 우리는 촉각 이해 및 생성을 위한 최초의 UMM인 UniTac을 제안합니다. UniTac은 촉각 과정을 비접촉에서 접촉으로의 전환으로 모델링하며, 센서와 객체 간의 물리적 상호 작용을 센서 및 객체의 속성을 모두 인코딩하는 이중 수준 표현을 통해 캡처합니다. 촉각 이해를 위해, UniTac은 물리적 정보와 교차 센서 정보를 활용한 추론 능력을 향상시키기 위한 두 가지 작업(객체 속성 설명 및 센서 식별)을 도입합니다. 촉각 생성을 위해, 우리는 재구성 및 정렬로 구성된 2단계 학습 패러다임을 설계했으며, 현실적인 촉각 접촉을 시뮬레이션하는 센서 우선순위 기반 샘플링 전략을 함께 사용합니다. 대규모 다중 센서 데이터셋으로 학습된 UniTac은 촉각 이해 분야에서 최첨단 성능을 달성하며, 다양한 센서를 통해 현실적인 촉각 신호를 생성합니다.

Unified multimodal models (UMMs) have shown great promise in integrating understanding and generation across diverse modalities. However, existing research rarely extends this paradigm to the tactile domain, where both object-level semantics and sensor-level configurations jointly determine the meaning of touch. To address this gap, we propose UniTac, the first UMM designed for tactile understanding and generation. UniTac models the tactile process as a transition from non-contact to contact, capturing the physical interaction between sensors and objects through a dual-level representation that encodes both sensor and object attributes. For tactile understanding, UniTac introduces two tasks, object property description and sensor identification, to enhance reasoning over physical and cross-sensor information. For tactile generation, we design a two-stage training paradigm consisting of reconstruction and alignment, together with a sensor-prior-based sampling strategy that simulates realistic tactile contact. Trained on large-scale multi-sensor datasets, UniTac achieves state-of-the-art performance in tactile understanding and generates realistic tactile signals across sensors.