LAPS: 프롬프트 길이를 고려한 LLM 서비스 시스템

LAPS: A Length-Aware-Prefill LLM Serving System

LAPS는 LLM 서비스 환경에서 프롬프트 길이에 따라 요청을 식별하고 분리하여 TTFT(Time To First Token) 지연 시간을 줄입니다. 최근 시스템들은 처리량을 향상시키기 위해 프리필(prefill)과 디코딩(decode) 단계를 분리했지만, 여전히 다양한 작업 부하 특성에 적응하지 못하는 통합 스케줄링 정책에 의존합니다. 저희는 프롬프트 길이의 변화가 뚜렷한 성능 병목 현상을 야기한다는 것을 관찰했으며, 이를 바탕으로 적응형 스케줄링 전략을 제안합니다. LAPS는 긴 프리필 요청과 짧은 프리필 요청을 분리하고, 짧은 프리필 작업 부하를 위한 길이 기반의 지능형 배치(batching) 메커니즘을 도입합니다. LAPS는 단일 프리필 인스턴스 내에서 시간 분리를 지원하거나, 여러 인스턴스 간에 공간 분리를 지원하는 이중 큐(dual-queue) 설계를 채택합니다. 짧은 프리필 배치에서, 배치 대기 시간 창(batch waiting window)과 CUDA Graph 기반 클러스터링을 통해 이기종 계산으로 인한 간섭을 완화하여 배치 지연을 줄이고 평균 지연 시간을 낮춥니다. 실제 다중 턴(multi-turn) 작업 부하에서, LAPS는 프리필-디코딩 분리 환경에서 기존 SGLang 시스템보다 프리필 지연 시간을 30% 이상 줄이고, 기존 데이터 병렬 구성의 다중 인스턴스 환경에서 SLO(Service Level Objective) 위반을 28% 감소시킵니다. 로드 밸런싱 기능을 갖춘 SGLang 라우터와 비교하여, 다중 GPU 환경에서 SLO 위반을 12% 더 줄입니다. 높은 동시성 및 혼합 요청 시나리오에서, LAPS는 Qwen2.5-32B 모델의 프리필 인스턴스에서 요청 처리량을 35% 향상시켜, 다양한 LLM 서비스 작업 부하를 최적화하는 데 효과적임을 입증합니다.

LAPS identifies and disaggregates requests with different prompt lengths in LLM serving to reduce TTFT latency. While recent systems have decoupled the prefill and decode stages to improve throughput, they still rely on unified scheduling policies that fail to adapt to heterogeneous workload characteristics. We observe that prompt-length variations lead to distinct performance bottlenecks, motivating an adaptive scheduling strategy. LAPS disaggregates multi-turn long-prefill requests from short-prefill ones and introduces a length-aware smart batching mechanism for short-prefill workloads. It adopts a dual-queue design that supports temporal disaggregation on a single prefill instance or spatial disaggregation across multiple instances. For short-prefill batches, a batch waiting window and CUDA Graph-based clustering mitigate interference from heterogeneous computation, reducing batching delay and lowering average latency. In real multi-turn workloads, LAPS reduces prefill latency by over 30\% compared to vanilla SGLang under prefill-decode disaggregation, and further decreases SLO violations by 28\% in multi-instance deployments with vanilla data-parallel configuration. Compared to the SGLang router with load balancing, it further lowers SLO violations by 12\% in multi-GPU settings. Under high concurrency and mixed-request scenarios, LAPS improves request throughput by 35\% serving Qwen2.5-32B model for prefill instance, demonstrating its effectiveness in optimizing heterogeneous LLM serving workloads.