Oilbird: 검증기가 이미 계산하는 키를 활용한 학습이 필요 없는 추론 디코딩

Oilbird: Training-Free Speculative Decoding with Keys the Verifier Already Computes

본 연구는 학습 과정 없이 추론을 수행하는 새로운 방식인 '스펙티브 디코딩' 방법을 제안합니다. 이 방법은 현재까지 생성된 문맥의 정확한 접미사를 미리 구축된 여러 문맥 풀과 비교하여 초안을 생성합니다. 그러나 이러한 방식은 이미 풀에 존재하는 올바른 초안을 놓치는 경우가 발생하며, 특히 도구 호출(tool-calling) 과정에서 반복되는 요청에 대해 몇 가지 값만 변경되었을 때 더욱 두드러집니다. 또한, 거부된 토큰 하나가 뒤따르는 올바른 연결을 삭제하는 문제도 발생합니다. 우리는 10개의 벤치마크를 통해 이러한 실패 지점을 분석한 결과, 문제가 '범위'의 부족보다는 '접근성'에 기인한다는 것을 확인했습니다. 특히, 도구 호출이 가장 빈번하게 발생하는 벤치마크에서, 최적의 정확도 기반 초안 생성기가 놓치는 정보 중 약 절반이 풀 내에 존재하지만 정확한 매칭으로는 접근할 수 없는 것으로 나타났습니다. 따라서 우리는 검증기가 이미 계산한 은닉 상태를 키로 사용하여 동일한 풀을 재구성하는 '의미론적' 초안 소스를 추가하고, 기존 어휘 기반 초안 생성기의 트리 안에 통합하여 사용할 수 있도록 제안합니다. 실험 결과, 3가지 공개된 초안 생성기에서 동일한 풀과 예산 하에 사용했을 때, 생성되는 문장의 길이를 24~29% 향상시킬 수 있었습니다. Oilbird는 API-Bank 데이터셋에서 기존의 학습이 필요 없는 최적 모델보다 4.4배 빠른 성능을 보였으며, EAGLE-3 모델보다 2.0배 빠른 속도를 달성했습니다.

Training-free speculative decoding drafts by matching an exact suffix of the context against a pool of earlier context. That lookup misses correct drafts already in the pool, most visibly on tool-calling traffic, where a request repeats almost everything but the few values minted for it, and where one rejected token discards the correct continuation behind it. We diagnose the failure position by position across ten benchmarks and find it to be a problem of addressing rather than of coverage: on our densest tool-calling benchmark, about half of what the strongest exact-match drafter misses is present in the pool yet unreachable by exact matching. We therefore propose a second, semantic draft source: the same pool, re-keyed by the hidden state the verifier has already computed at each committed token, together with a merge that lets it ride inside an existing lexical drafter's tree. In three published drafters, at matched pool and budget, it lifts accepted length by 24-29%. Oilbird reaches 4.4x autoregressive decoding speed on API-Bank, against 3.9x for the strongest training-free baseline in our harness and 2.0x for EAGLE-3.