근사 추론 디코딩

Approximate Speculative Decoding

추론 디코딩은 대상 모델과 병렬로 초안 블록을 검증하여 자기 회귀 생성 속도를 높입니다. 표준 탐욕적 검증 방식에서, 초안 토큰이 대상의 최댓값과 다를 경우, 검증은 해당 토큰에서 멈추고 나머지 부분(target-scored suffix)은 버립니다. 이러한 불일치를 허용하면 디코딩 경로가 변경될 수 있지만, 실현된 접두사 하에서 해당 토큰들이 여전히 대상에 대한 탐욕적인 방식을 따르는 경우, 연속적인 부분을 재사용할 수 있습니다. 본 논문에서는 훈련이 필요 없는 검증기인 **근사 추론 디코딩 (ASD)**을 제안합니다. ASD는 이진 형태의 첫 번째 불일치로 인한 단축 대신, 예산 내에서 가장 긴 접두사를 선택하는 방식을 사용합니다. ASD는 로컬 대상 로짓 후회 게이트, 블록별 예외 제한 및 지속적인 요청 수준 후회 예산을 기준으로 선택된 불일치를 허용하고, 추가적인 근사 결정이나 대상 모델의 순전파 과정 없이 연속적인 대상에 대한 탐욕적인 부분을 재사용합니다. ASD는 새로운 초안 모델이나 미세 조정을 필요로 하지 않으며, 예산이 0인 경우 표준 탐욕적 검증과 정확히 동일하게 동작합니다. 실험 결과, ASD는 특정 작업량에서 기존의 엄격한 검증 방식보다 처리량을 3.05%~15.26% 향상시켰고, Qwen3-14B + DSpark-14B를 사용하는 7가지 작업에서 평균적으로 7.78%의 성능 향상을 보였습니다. DeepSeek-V4-Flash (284B) 모델과 DSpark를 함께 사용할 때, FP4에서 FP8로의 호환 설정에서 GSM8K 및 MATH-500 데이터셋에 대해 검증기 측에서의 수용률을 약 10%~16% 향상시켰습니다. 소스 코드는 다음 주소에서 공개적으로 이용 가능합니다: https://github.com/Kissmetothemoon/ASD

Speculative decoding accelerates autoregressive generation by verifying a draft block with a target model in parallel. Under standard greedy verification, decoding stops at the first draft token that differs from the target argmax, discarding the remaining target-scored suffix. Although accepting such a mismatch changes the decoding trajectory, it can make a contiguous suffix reusable when its tokens remain target-greedy under the realized prefix. In this paper, we introduce \textbf{Approximate Speculative Decoding (ASD)}, a training-free verifier that replaces binary first-mismatch truncation with budgeted longest-prefix selection. ASD accepts selected mismatches subject to a local target-logit regret gate, a per-block exception cap, and a persistent request-level regret budget, then reuses the contiguous target-greedy suffix without additional approximate decisions or target-model forward passes. ASD requires neither a new draft model nor fine-tuning, and exactly reduces to standard greedy verification when the budget is zero. Experiments show that ASD improves fixed-workload throughput by $3.05\%$--$15.26\%$ over matched strict verification and averages a $7.78\%$ gain across seven Qwen3-14B + DSpark-14B tasks. On DeepSeek-V4-Flash (284B) with DSpark it also raises verifier-side acceptance by roughly $10\%$--$16\%$ on GSM8K and MATH-500 in an FP4-to-FP8 compatibility setting. The source code is publicly available at: https://github.com/Kissmetothemoon/ASD