더 적은 전문가, 더 빠른 디코딩: 혼합 전문가 모델을 위한 비용 인지 추론 기반 디코딩

Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts

희소 혼합 전문가(MoE) 모델은 대규모 언어 모델(LLM)의 확장 방식을 위한 중요한 접근 방식이 되었지만, 그 추론 효율성은 전문가 활성화 패턴에 크게 의존합니다. 추론 기반 디코딩(SD)은 여러 개의 초안 토큰을 병렬로 검증하여 자기 회귀 생성을 가속화하지만, 기존의 초안 선택 전략은 주로 수용 가능성(acceptance likelihood)을 최적화합니다. 그러나 대규모 MoE 모델에서 초안 토큰을 선택하는 것은 검증 과정에서 활성화되는 전문가 집합을 결정하기도 합니다. 우리는 신뢰도 기반 SD가 '전문가 분산'(expert scattering) 현상을 유발할 수 있다는 점을 발견했습니다. 즉, 높은 확률의 초안 토큰이 서로 다른 전문가에게 전달되어 전문가 가중치 메모리 트래픽을 증가시키고 추론 속도 향상 효과를 감소시킬 수 있습니다. 이러한 관찰에 따라, 우리는 MoE 추론의 불균일한 메모리 비용 구조 하에서 초안 트리 선택을 재검토했습니다. 본 논문에서는 예측된 전문가 활성화 비용을 초안 선택에 통합하는 비용 인지 추론 기반 디코딩 프레임워크인 extsc{EcoSpec}을 제안합니다. 경량의 전문가 예측기와 동적 전문가 버퍼를 사용하여, extsc{EcoSpec}은 현재 검증 세트에 의해 이미 처리된 전문가를 재사용하면서 높은 수용 가능성을 유지하는 초안 경로를 선호하며, 대상 모델의 검증 규칙을 변경하지 않습니다. 우리는 DeepSeek-V3.1 (671B), Qwen3-235B-A22B 및 GPT-OSS-120B를 포함한 세 가지 대규모 MoE 모델에서 추론, 코딩, 질문 답변 및 대화 벤치마크를 사용하여 extsc{EcoSpec}을 평가했습니다. extsc{EcoSpec}은 일관되게 활성 전문가의 수를 줄이고 전체 디코딩 속도를 향상시켜 최대 $1.62 imes$의 속도 향상을 달성했습니다. 이러한 결과는 대규모 MoE 모델에서 효율적인 추론 기반 디코딩을 위해서는 전문가 활성화 비용을 고려하는 것이 중요하다는 것을 보여줍니다.

Sparse Mixture-of-Experts (MoE) models have become an important approach for scaling Large Language Models (LLMs), but their inference efficiency depends strongly on expert activation patterns. Speculative decoding (SD) accelerates autoregressive generation by verifying multiple draft tokens in parallel, yet existing draft selection strategies primarily optimize acceptance likelihood. In large-scale MoE models, however, selecting draft tokens also determines the union of experts activated during verification. We observe that confidence-driven SD can introduce \textit{expert scattering}: high-probability draft tokens may route to disjoint experts, increasing expert-weight memory traffic and reducing the speedup from speculation. Motivated by this observation, we revisit draft-tree selection under the non-uniform memory-cost structure of MoE inference. We propose \textsc{EcoSpec}, a cost-aware speculative decoding framework that incorporates predicted marginal expert activation cost into draft selection. With a lightweight expert predictor and a dynamic expert buffer, \textsc{EcoSpec} favors draft paths that preserve high acceptance likelihood while reusing experts already covered by the current verification set, without modifying the target-model verification rule. We evaluate \textsc{EcoSpec} on three large-scale MoE models, including DeepSeek-V3.1 (671B), Qwen3-235B-A22B, and GPT-OSS-120B, across reasoning, coding, question-answering, and dialogue benchmarks. \textsc{EcoSpec} consistently reduces active expert footprints and improves end-to-end decoding speed, achieving up to $1.62\times$ speedup. These results show that accounting for expert activation cost is important for efficient speculative decoding in large-scale MoE models.