VIA-SD: 모델 내부 경로를 통한 검증 방식 - 추론 기반 디코딩을 위한 방법

VIA-SD: Verification via Intra-Model Routing for Speculative Decoding

추론 기반 디코딩(Speculative Decoding, SD)은 LLM의 높은 추론 비용 문제를 해결하기 위해, 경량화된 생성기가 후보 토큰을 생성하고, 대규모 검증기가 이를 병렬적으로 검증하는 방식을 사용합니다. 기존의 초안-검증 방법은 이진 결정(수용 또는 전체 재계산)을 사용하지만, 본 연구에서는 많은 거부된 토큰들이 전체 검증기에서 파생된 경량화된 부분 모델을 사용하여 정확하게 검증될 수 있음을 확인했습니다. 이를 바탕으로, 중간 수준의 검증 자원이 필요한 토큰을 처리하는 경량 검증기를 제안하여, 비용이 많이 드는 대규모 모델 호출을 줄입니다. 본 논문에서는 모델 내부 경로를 이용한 검증 방식(Verification via Intra-Model Routing for Speculative Decoding, VIA-SD)이라는 다단계 프레임워크를 제안하며, 이 프레임워크는 경량화된 검증기를 사용합니다. 초안 토큰은 확신 수준에 따라 계층적으로 처리됩니다: 높은 확신 수준의 경우 직접 수용하고, 중간 수준의 확신 수준의 경우 경량 검증기로 재생성하며, 불확실한 경우 전체 모델로 검증합니다. 4가지 대표적인 작업과 다양한 모델 패밀리에서 VIA-SD는 거부율을 0.10~0.22만큼 줄이고, 강력한 SD 기준 성능 대비 10~20%의 속도 향상을 제공하며, 초안 생성을 사용하지 않는 디코딩 방식보다 2.5~3배 빠른 속도를 달성합니다. 또한, VIA-SD는 기존 SD 프레임워크와 호환되며, 학습 절차를 수정할 필요가 없습니다. 본 연구 결과는 확장 가능하고 효율적인 LLM 추론을 위한 일반적인 패러다임으로서의 다단계 SD 가능성을 제시합니다. 프로젝트 페이지: https://zju-xyc.github.io/VIA-SD-Project-Page/

Speculative decoding (SD) addresses the high inference costs of LLMs by having lightweight drafters generate candidates for large verifiers to validate in parallel. Existing draft-verify methods use binary decisions: accept or fully recompute. Yet we find that many rejected tokens can be verified correctly by a slim submodel derived from the full verifier via intra-model routing, instead of the full verifier. This motivates our slim-verifier to handle tokens requiring moderate verification resources, reducing expensive large-model calls. We propose Verification via Intra-Model Routing for Speculative Decoding (VIA-SD), a multi-tier framework using a routed slim-verifier. Draft tokens are processed hierarchically: direct acceptance for high-confidence cases, slim-verifier regeneration for medium-confidence cases, and full-model verification for uncertain cases. Across four representative tasks and multiple model families, VIA-SD reduces rejection rates by 0.10-0.22 and delivers 10-20% speedups over strong SD baselines, while achieving 2.5-3x acceleration over non-drafting decoding. Moreover, VIA-SD is compatible with existing SD frameworks without modifying their training procedures. Our results suggest multi-tier SD as a general paradigm for scalable and efficient LLM inference. Project page: https://zju-xyc.github.io/VIA-SD-Project-Page/