AngelSpec: 추론 과정 예측 방식을 활용한 실용적인 고성능 추론 시스템 개발

AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding

추론 과정 예측 방식은 목표 분포를 변경하지 않고도 대규모 언어 모델의 추론 속도를 향상시킬 수 있지만, 모든 실제 작업 환경에서 가장 적합한 단일 구조는 존재하지 않습니다. 자기 회귀 다중 토큰 예측(MTP)은 가볍고 안정적인 제안 방식이지만, 블록 병렬 확산 방식은 훨씬 더 긴 후보 시퀀스에 걸쳐 제안 지연 시간을 분산시킵니다. 어떤 방식을 선택할지는 출력 분포에 크게 의존합니다. 본 연구에서는 MTP 및 블록 병렬 추론 과정 예측을 위한 통합 학습 프레임워크인 AngelSpec을 제시하며, 이 프레임워크는 세 가지 수준에서 이러한 다양성을 해결합니다. 학습 단계에서는 균일한 데이터 혼합에 단일 제안자를 적용하는 대신, 구조와 데이터를 함께 특화하여 MTP 제안자는 높은 엔트로피의 개방형 대화 데이터를 사용하여 훈련하고, 블록 확산 제안자는 더 긴 예측 가능한 연속을 생성하기 위해 코드 및 수학 데이터를 사용하여 훈련합니다. 아키텍처 단계에서는 하이브리드 목표 조건부 백본과 이전 토큰에 의존하는 자기 회귀 헤드를 결합한 DFly라는 블록 병렬 프레임워크를 제안하여, 목표 특징 활용도를 향상시키고 블록 내 종속성 모델링을 개선하면서도 생성 과정을 병렬화합니다. 추론 단계에서는 수용 길이와 검증 비용이 도메인, 요청, 온라인 부하 및 하드웨어에 따라 달라지므로, DFly는 검증을 공유된 배치 수준의 리소스로 취급하며, 컴퓨팅 자원을 높은 신뢰도의 접두사로 재분배하고, 예상 유틸리티와 프로파일링된 비용 모델을 결합하여 온라인으로 검증 깊이를 조정합니다. Hy3 시리즈에서 DFly는 Hy3-A21B에서 평균 수용 길이를 약 30% 향상시키고, 테스트한 모든 동시성 수준(4부터 64까지)에서 가장 높은 평균 처리량을 달성했습니다. 이는 자기 회귀 디코딩에 비해 1.98~2.40배 빠른 속도이며, DFlash보다 10.5~11.8% 더 높은 처리량을 제공합니다. 본 연구에서는 이러한 방법의 학습 및 확장을 지원하기 위해 AngelSpec을 공개합니다.

Speculative decoding accelerates large language model inference without changing the target distribution, but no single drafting structure performs best across real-world workloads. Autoregressive multi-token prediction (MTP) is a lightweight, stable proposal mechanism, whereas block-parallel diffusion amortizes drafting latency over much longer candidate sequences; the better choice depends strongly on the output distribution. We present AngelSpec, a unified training framework for MTP and block-parallel speculative decoding that addresses this heterogeneity at three levels. At the training level, rather than fitting one universal drafter to a uniform data mixture, we co-specialize structure and data: the MTP drafter is trained on diverse conversational data for high-entropy open-ended chat, and the block-diffusion drafter on code and mathematics data for longer predictable continuations. At the architecture level, we propose DFly, a block-diffusion framework combining a hybrid target-conditioning backbone with a predecessor-conditioned autoregressive head, improving target-feature utilization and intra-block dependency modeling while keeping generation parallel. At the inference level, both acceptance length and verification cost vary with domain, request, online load, and hardware, so DFly treats verification as a shared batch-level resource: it reallocates compute toward high-confidence prefixes across requests and combines expected utility with a profiled cost model to adapt verification depth online. Across the Hy3 series, DFly raises the average accepted length on Hy3-A21B by roughly 30% and attains the highest average throughput at every tested concurrency from 4 to 64, a 1.98-2.40x speedup over autoregressive decoding and 10.5-11.8% higher throughput than DFlash. We release AngelSpec to support training and extending these methods.