DeltaServe: 호스트에 구애받지 않는 LLM 추론 및 미세 조정을 위한 동시 서비스 시스템

DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs

LLM(Large Language Model) 서비스 시스템은 엄격한 지연 시간 목표를 충족하기 위해 최대 부하 수준으로 구축되지만, 트래픽이 최대 부하 이하일 때는 상당량의 GPU 컴퓨팅 자원이 유휴 상태로 남아 있습니다. 본 논문에서는 DeltaServe라는 호스트에 구애받지 않는 동시 서비스 시스템을 제안합니다. DeltaServe는 이러한 유휴 추론 용량을 활용하여 LoRA(Low-Rank Adaptation) 미세 조정 처리량을 증가시키면서 동시에 기존의 추론 서비스 수준 목표(SLO, Service Level Objective)를 유지합니다. DeltaServe는 기존의 추론 엔진과 간단한 인터페이스를 통해 통합되며, 다중 LoRA 배치 지원만 필요합니다. 본 시스템은 추론 프리필(prefill) 및 LoRA 미세 조정 순방향 연산의 공유 실행 구조를 활용하며, SLO를 고려하는 스케줄러를 사용하여 충분한 추론 여유가 있을 때만 미세 조정을 수행합니다. 이 스케줄러는 CUDA 그래프 기반의 지연 시간 모델을 사용하며, 오프라인에서 교정하고 온라인으로 개선됩니다. DeltaServe는 vLLM, SGLang 및 S-LoRA와 통합되었습니다. Company X에서 수집한 실제 트레이스 데이터를 사용하여 실험한 결과, DeltaServe가 vLLM과 함께 사용할 때 LLMStation보다 2.9배 더 높은 미세 조정 처리량을 제공하며, 추론 SLO를 100% 준수하는 반면, LLMStation은 85%의 준수율을 보였습니다. 또한 DeltaServe는 추가 하드웨어를 사용하지 않고 vLLM+torchtune 기반 시스템보다 39% 더 높은 미세 조정 처리량을 달성하며, 추론 SLO를 완전히 준수했습니다.

LLM serving systems are provisioned for peak load to meet strict latency targets, leaving substantial GPU compute idle whenever traffic falls below peak. We present DeltaServe, a host-agnostic co-serving design that converts this idle inference capacity into LoRA fine-tuning throughput while preserving inference service-level objectives (SLOs). DeltaServe integrates with existing inference engines through a compact hook interface that requires only multi-LoRA batching support. It exploits the shared execution structure of inference prefill and LoRA fine-tuning forward passes, and uses an SLO-aware scheduler to admit and execute fine-tuning only when sufficient inference headroom is available. The scheduler is driven by a CUDA-graph-aware latency model calibrated offline and refined online. We integrate DeltaServe with vLLM, SGLang, and S-LoRA. On a production trace from Company X, DeltaServe on vLLM delivers 2.9x higher fine-tuning throughput than LLMStation at 100% inference SLO compliance, versus 85% for LLMStation. It also achieves 39% higher fine-tuning throughput than a baseline running vLLM+torchtune, using no additional hardware and maintaining full SLO compliance.