BALANCE: 무선 에지 네트워크에서 하이브리드 오토레거시브-스페큘레이티브 LLM 추론

BALANCE: Hybrid Autoregressive-Speculative LLM Inference in Wireless Edge Networks

에지 추론은 차세대 모바일 네트워크에서 대규모 언어 모델(LLM) 추론 서비스를 제공하는 유망한 기술입니다. LLM 추론은 주로 두 가지 방식에 의존합니다: 오토레거시브 디코딩(AD)은 출력 토큰을 순차적으로 생성하여 지연 시간이 길다는 단점이 있고, 스페큘레이티브 디코딩(SD)은 작은 언어 모델(SLM)을 사용하여 LLM 검증을 위한 여러 개의 초안 토큰을 생성함으로써 추론 속도를 높이지만 추가적인 메모리 비용이 발생합니다. 이러한 지연 시간과 메모리 간의 상충 관계 때문에, 제한된 에지 컴퓨팅 자원 하에서 다양한 요구사항을 가진 사용자에게 효율적으로 서비스를 제공하기 위해서는 어느 한 가지 방식만으로는 충분하지 않습니다. 이 문제를 해결하기 위해, 저희는 에지 LLM 추론을 위한 하이브리드 오토레거시브-스페큘레이티브 추론 프레임워크인 BALANCE를 제안합니다. BALANCE에서는 에지 서버가 SLM과 LLM을 모두 호스팅하고, 각 사용자에게 AD 또는 SD 방식을 할당하여 두 가지 방식을 동시에 수행합니다. 서비스되는 사용자의 수를 최대화하기 위해, 저희는 사용자 지연 시간 요구사항 및 서버 메모리 제약 조건 하에서 AD와 SD 간의 사용자 스케줄링 및 컴퓨팅 자원 할당을 공동으로 결정하는 처리량 극대화 문제를 정의했습니다. 이 문제는 NP-hard 문제이므로, 원래 문제를 두 개의 부분 문제로 변환하고, 상수 수준의 근사 보장 성능을 갖는 다항 시간 알고리즘을 개발했습니다. 실험 결과, BALANCE가 기존의 AD 및 SD 방식보다 일관되게 우수한 성능을 보여주며, 처리량을 크게 향상시키는 것을 확인했습니다.

Edge inference is a promising paradigm to provide large language model (LLM) inference services in next-generation mobile networks. LLM inference mainly relies on two approaches: Autoregressive decoding (AD) generates output tokens sequentially, resulting in long latency; Speculative decoding (SD) accelerates inference by using a small language model (SLM) to generate multiple draft tokens for LLM verification, but incurs extra memory costs. Due to this latency-memory tradeoff, neither approach alone can efficiently serve users with heterogeneous demands under limited edge computing resources. To address this challenge, we propose a hybrid autoregressive-speculative inference (BALANCE) framework for edge LLM inference. In BALANCE, an edge server hosts both an SLM and an LLM, assigns each user to AD or SD, and performs the two modes simultaneously. To maximize the number of served users, we formulate a task throughput maximization problem to jointly determine user scheduling and computing resource allocation between AD and SD under user latency requirements and server memory constraints. Since the problem is NP-hard, we develop a polynomial-time algorithm that transforms the original problem into two sub-problems and obtains a sub-optimal solution with a constant approximation guarantee. Experiments demonstrate that BALANCE consistently outperforms conventional AD and SD and significantly improves task throughput.