ArrayTac: 모양, 강성 및 마찰을 동시에 표현하는 촉각 디스플레이

ArrayTac: A tactile display for simultaneous rendering of shape, stiffness and friction

시각 및 청각 분야의 인간-컴퓨터 상호작용은 상당한 발전을 이루었지만, 기계에서 인간으로의 촉각 피드백은 여전히 발전 단계에 있습니다. 기존의 촉각 디스플레이는 모양, 강성 및 마찰과 같은 여러 촉각 차원을 동시에 표현하는 데 어려움을 겪으며, 이는 촉각 시뮬레이션의 현실감을 제한합니다. 본 연구에서는 모양, 강성 및 마찰을 동시에 표현하여 현실적인 촉각 신호를 재현할 수 있는 압전 구동형 촉각 디스플레이인 ArrayTac을 소개합니다. 이 시스템은 4x4 배열로 구성된 16개의 액추에이터 유닛으로 구성되어 있으며, 각 유닛은 압전 요소의 마이크로미터 크기 변위를 증폭하기 위한 3단계 마이크로 레버 메커니즘을 사용합니다. 또한, 엔드 이펙터에서 홀 센서 기반의 폐루프 제어를 사용하여 응답 속도와 정확도를 향상시켰습니다. 또한, 다음 두 가지 엔드-투-엔드 파이프라인을 구현했습니다. 1) 시각 입력을 다중 모드 기반 모델을 사용하여 촉각 신호로 변환하는 비전-투-터치 프레임워크, 그리고 2) 수천 킬로미터의 거리를 통해 작동하는 실시간 원격 촉각 시스템입니다. 사용자 연구에서, 처음 사용하는 참가자들은 높은 성공률로 객체의 모양과 물리적 특성을 정확하게 식별했습니다. 1,000km 이상의 원격 촉각 실험에서, 훈련을 받지 않은 자원봉사자들은 유방 팬텀에서 종양의 개수와 유형을 100% 정확도로 식별하고 위치를 정확하게 파악했습니다. ArrayTac은 객체의 모양, 강성 및 마찰을 동시에 표현하는 혁신적인 기능을 도입하여 고정밀 촉각 피드백의 새로운 길을 제시하고, 이전에는 불가능했던 포괄적인 촉각 경험을 제공합니다.

Human-computer interaction in the visual and auditory domains has achieved considerable maturity, yet machine-to-human tactile feedback remains underdeveloped. Existing tactile displays struggle to simultaneously render multiple tactile dimensions, such as shape, stiffness, and friction, which limits the realism of haptic simulation. Here, we present ArrayTac, a piezoelectric-driven tactile display capable of simultaneously rendering shape, stiffness, and friction to reproduce realistic haptic signals. The system comprises a 4x4 array of 16 actuator units, each employing a three-stage micro-lever mechanism to amplify the micrometer-scale displacement of the piezoelectric element, with Hall sensor-based closed-loop control at the end effector to enhance response speed and precision. We further implement two end-to-end pipelines: 1) a vision-to-touch framework that converts visual inputs into tactile signals using multimodal foundation models, and 2) a real-time tele-palpation system operating over distances of several thousand kilometers. In user studies, first-time participants accurately identify object shapes and physical properties with high success rates. In a tele-palpation experiment over 1,000km, untrained volunteers correctly identified both the number and type of tumors in a breast phantom with 100% accuracy and precisely localized their positions. The system pioneers a new pathway for high-fidelity haptic feedback by introducing the unprecedented capability to simultaneously render an object's shape, stiffness, and friction, delivering a holistic tactile experience that was previously unattainable.