빠른 시각-촉각 인식을 위한 센서 근처 컴퓨팅

Near-sensor Computing for Rapid Visuotactile Perception

시각-촉각 센서는 측정된 표면 기울기를 기반으로 밀집된 접촉 형상을 재구성하지만, 호스트 기반 처리는 전력 소비를 증가시키고 데이터 전송 지연 및 가변적인 스케줄링 지연을 발생시켜 로봇 시스템의 감지 및 응답 속도를 제한합니다. 이러한 한계점을 해결하기 위해, 우리는 완전한 스트리밍 하드웨어 파이프라인으로 구성된 스펙트럴 푸아송 솔버를 포함하는 센서 근처 컴퓨팅 프레임워크를 구현했습니다. 이 계산 코어의 전력 소비량은 약 347 mW이며 데이터에 의존적인 분기 또는 반복적 수렴 없이 높은 처리량을 달성하여 결정적인 지연 시간을 제공합니다. 166 MHz에서 작동하는 이 파이프라인은 첫 번째 입력 픽셀을 수신한 후 각 128x128 프레임의 첫 번째 깊이 값을 35,107 사이클 후에 생성하며, 이는 고정된 지연 시간인 0.211 ms에 해당합니다. 15개의 접촉 형상에 대해 재구성된 깊이는 최고 접촉 깊이의 0.17% 이내로 기준값(double-precision)과 차이가 납니다. 온칩에서 이러한 재구성을 기반으로 한 결정을 통해 동일한 액추에이터를 사용하는 호스트 기반 루프 (169.9 +/- 27.8 ms)에 비해 로봇 보호 반사루프를 28.3 +/- 4.9 ms 내에 완료할 수 있습니다. 이러한 결과는 센서 근처 재구성이 정확하고 에너지 효율적이며 결정적인 촉각 형상을 제공하여 빠른 로봇 접촉 응답에 적합한 시간 척도에서 작동할 수 있음을 보여줍니다.

Visuotactile sensors reconstruct dense contact geometry from measured surface gradients, but host-based processing increases power consumption and introduces data-transfer delays and variable scheduling latency, limiting the sensing and response speed of robotic systems. To address these limitations, we implement a near-sensor computing framework that includes a spectral Poisson solver as a fully streaming hardware pipeline. The computational core logic has an estimated power consumption of 347 mW and achieves high throughput without data-dependent branching or iterative convergence, thereby providing deterministic latency. Operating at 166 MHz, the pipeline produces the first depth value of each 128x128 frame 35,107 cycles after receiving the first input pixel, corresponding to a fixed latency of 0.211 ms. Across 15 contact geometries, the reconstructed depths differ from a double-precision reference by 0.17 % of the peak contact depth. On-chip decisions based on these reconstructions close a robot protective reflex loop in 28.3 +/- 4.9 ms, compared with 169.9 +/- 27.8 ms for an equivalent host-based loop using the same actuator. These results demonstrate that near-sensor reconstruction can provide accurate, energy-efficient, and deterministic tactile geometry on timescales suitable for rapid robotic contact responses.