DSpark: 신뢰도 기반 스케줄링을 통한 추론 예측 디코딩 및 준-자기 회귀 생성

DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

추론 예측 디코딩은 초거대 언어 모델(LLM)의 추론 속도를 향상시키기 위해, 임시 초안 생성을 목표 검증으로부터 분리하는 방식입니다. 최근의 병렬 초안 생성기는 단일 순방향 패스에서 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부족으로 인해 채택률이 빠르게 감소합니다. 또한, 확장된 블록을 무차별적으로 검증하면 높은 거부 위험을 가진 토큰에 중요한 배치 용량을 낭비하여 고병렬 처리 시스템의 처리량을 심각하게 저하시킵니다. 본 논문에서는 고처리량 병렬 생성을 적응형 및 부하 인지 검증과 통합하는 추론 예측 디코딩 프레임워크인 DSpark를 소개합니다. DSpark는 임시 초안의 품질을 유지하기 위해, 병렬 백본과 가벼운 순차 모듈을 결합한 준-자기 회귀 아키텍처를 사용하여 블록 내 의존성 모델링을 도입하고 후행 부분의 성능 저하를 완화합니다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 스케줄링 검증 방식을 사용하며, 각 요청에 대해 추정된 접두부 생존 확률과 엔진별 처리량 프로필을 기반으로 동적으로 검증 길이를 조정합니다. 다양한 도메인의 오프라인 벤치마크에서 DSpark는 최첨단 자기 회귀 및 병렬 초안 생성기보다 수용 가능한 길이 측면에서 크게 향상된 성능을 보였습니다. DeepSeek-V4 서비스 시스템에 배포하여 실제 사용자 트래픽 하에서 운영했을 때, DSpark는 검증 과정의 낭비를 성공적으로 줄였습니다. 기존 생산 기준(MTP-1)과 비교했을 때, DSpark는 동일한 처리량 수준에서 사용자당 생성 속도를 60%에서 85%까지 향상시켰습니다. 더욱 중요한 점은, 엄격한 상호작용 제약 조건 하에서도 심각한 처리량 저하를 방지하여 이전에는 달성할 수 없었던 성능 수준을 제공함으로써 서비스 시스템의 패리티 경계를 확장합니다.

Speculative decoding accelerates Large Language Model (LLM) inference by decoupling draft generation from target verification. While recent parallel drafters efficiently propose long token sequences in a single forward pass, they suffer from rapid acceptance decay due to a lack of inter-token dependencies. Furthermore, indiscriminately verifying these extended blocks wastes critical batch capacity on tokens with high rejection risks, severely degrading throughput in high-concurrency serving systems. We introduce DSpark, a speculative decoding framework that unifies high-throughput parallel generation with adaptive, load-aware verification. To maintain draft quality, DSpark utilizes a semi-autoregressive architecture, coupling a parallel backbone with a lightweight sequential module, to introduce intra-block dependency modeling and mitigate suffix decay. To optimize system efficiency, DSpark employs confidence-scheduled verification, dynamically tailoring the verification length for each request based on estimated prefix survival probabilities and engine-specific throughput profiles. On offline benchmarks across diverse domains, DSpark substantially improves the accepted length over state-of-the-art autoregressive and parallel drafters. When deployed within the DeepSeek-V4 serving system under live user traffic, DSpark successfully mitigates verification waste. Compared to the established production baseline (MTP-1), DSpark accelerates per-user generation speeds by 60 to 85 percent at matched throughput levels. More importantly, by preventing severe throughput degradation under strict interactivity constraints, it enables performance tiers that were previously unattainable, shifting the Pareto frontier of our serving system.