델토리스: 비트 레벨 희소성 및 추론 기반 예측을 통한 임베디드 AI 환경에서의 실시간 VLA 추론 지원

Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference

비전-언어-행동(VLA) 모델은 임베디드 AI의 핵심 구성 요소로 부상했습니다. 기존 방식 중 확산 모델 기반 VLA 모델은 우수한 동작 품질과 일반화 능력을 제공합니다. 그러나 확산 모델 기반 VLA 모델은 연산 집약적이며, 높은 제어 주파수(예: 50-200Hz)에서 실행되어야 합니다. 이는 엣지 장치에 엄격한 지연 시간 및 에너지 제약을 가합니다. 본 연구에서는 효율적인 확산 모델 기반 VLA 추론을 위한 알고리즘-하드웨어 공동 설계 프레임워크인 Deltoris를 제시합니다. 먼저, 연속 입력 데이터의 시간적 유사성을 활용하여 연쇄 입력 간의 차이만 계산하는 시간 인식 비트 희소성(temporal-aware bit-sparsity) 알고리즘을 제안합니다. 이를 통해 불필요한 비트 레벨 연산을 제거합니다. 또한, 본 알고리즘에서 발생하는 추가적인 외부 메모리 트래픽 문제를 해결하기 위해 데이터 로딩 시간을 여러 제어 단계에 분산하는 예측 추론(speculative inference) 기술을 제안합니다. 마지막으로, 이러한 기술들을 지원하기 위해 맞춤형 1차원 시스틱 비트 직렬 처리 요소(PE) 어레이를 사용하는 전용 가속기를 공동 설계했습니다. 평가 결과, Deltoris는 모바일 GPU 대비 최대 34.2배, 기존 가속기 대비 6.1배의 속도 향상을 달성했으며, 성능 저하 없이 유사한 정확도를 유지했습니다.

Vision-language-action (VLA) models have emerged as a key component in embodied AI. Among existing approaches, diffusion-based VLA models achieve superior motion quality and generalization. However, diffusion-based VLA models are compute-intensive and must run at high control frequency, e.g., 50-200 Hz. Thus, it imposes strict latency and energy constraints on edge devices. In this work, we present Deltoris, an algorithm-hardware co-design framework for efficient diffusion-based VLA inference. First, we exploit the temporal similarity of consecutive inputs and propose a \textit{temporal-aware bit-sparsity} algorithm that computes only the differences between consecutive inputs, eliminating redundant bit-level operations. To further address the extra off-chip traffic introduced by our algorithm, we propose a \textit{speculative inference} technique, which amortizes data loading across multiple control steps. Lastly, to support these techniques, we co-design a dedicated accelerator with customized 1D systolic bit-serial PE arrays that eliminate PE workload imbalance. Our evaluation shows that Deltoris achieves up to 34.2$\times$ speedup over mobile GPUs and 6.1$\times$ over prior accelerators, while maintaining comparable accuracy.