Archer: 어댑티브 재사용 캐싱을 통한 효율적인 되돌리기 (Rollback) - 확산 언어 모델

Archer: Adaptive Reuse of Cached Hidden States for Efficient Rollback in Diffusion Language Models

확산 언어 모델(DLM)은 시퀀스를 반복적으로 개선하며, 이전 예측값을 문맥의 변화에 따라 수정할 수 있습니다. 이러한 되돌리기 기능은 비가역적 생성 방식과 구별되지만, 추론 비용을 증가시킵니다. 모든 디노이징 업데이트는 전체 문맥을 변경시키므로, 프롬프트와 응답 상태를 모두 재계산해야 하지만, 실제로 수정될 수 있는 것은 응답 토큰뿐입니다. 키-값(KV) 캐싱은 이러한 비용을 줄일 수 있지만, 기존 캐싱 방식은 불변하는 과거 상태를 가정하므로 되돌리기 기능과 호환하기 어렵습니다. 본 논문에서는 되돌리기 기능을 가진 DLM을 위한 트레이닝이 필요 없는 KV 캐싱 방법인 '어댑티브 재사용 캐싱을 통한 효율적인 되돌리기 (Archer)'를 제안합니다. Archer는 현재 추론 상태와 동기화되는 변경 가능한 응답 외에는 프롬프트 K/V를 특정 범위 내의 상태 이웃에서 재사용합니다. 양방향 어텐션으로 인해 프롬프트 표현도 변하지만, 토큰 식별자는 고정되어 있으므로, 제한적인 재사용은 반복적인 프롬프트 계산을 줄여주면서 동시에 변경 가능한 응답 상태는 캐싱하지 않습니다. 또한, Archer는 임시적이고 높은 신뢰도를 가진 오류를 조기에 강화하는 것을 지연시켜 되돌리기가 오류를 수정할 기회를 더 많이 제공합니다. 본 논문에서는 프롬프트 재사용을 되돌리기와 관련된 캐시 경계로 분석하고, 상태 의존적인 근사 오차를 제한하며, 완전한 재계산 결정을 유지하기 위한 디코더 마진 조건을 제시합니다. 기존 DLM 가속화 방법은 종종 품질과 속도 간의 균형을 맞추는 반면, Archer는 이러한 경계를 이동시켜 평균 33.63%라는 최고의 성능을 달성하고 주요 테스트 세트에서 평균 2.57배의 속도 향상을 보였습니다. 평가된 모든 설정에서 Pass@1 점수를 최대 3.05 포인트까지 향상시키고 최대 2.95배의 속도 향상을 달성했습니다. 통제된 분석을 통해 품질 향상이 지연된 프롬프트 피드백과 관련이 있음을 확인하고, 상태 인지적인 재계산 기능을 검증했습니다. Archer 코드는 https://github.com/Hxnng/Archer 에서 확인할 수 있습니다.

Diffusion language models (DLMs) iteratively refine a sequence, allowing earlier predictions to be revised as context evolves. This rollback capability distinguishes them from irreversible autoregressive generation, but makes inference costly. Every denoising update alters the global context, forcing both prompt and response states to be recomputed even though only response tokens are revisable. Key-value (KV) caching could reduce this cost, yet conventional caching assumes immutable historical states and is therefore difficult to reconcile with rollback. In this paper, we introduce Adaptive Reuse of Cached Hidden States for Efficient Rollback (Archer), a training-free KV caching method for rollback-capable DLMs. Archer asymmetrically keeps the mutable response synchronized with the current hypothesis while reusing prompt K/V within a bounded state neighborhood. Although prompt representations also change under bidirectional attention, their token identities remain fixed; bounded reuse therefore amortizes repeated prompt computation without caching mutable response states. It also delays feedback from tentative tokens, reducing premature reinforcement of transient high-confidence errors and giving rollback more opportunity to correct them. Our analysis characterizes prompt reuse as a reversibility-aligned cache boundary, bounds its state-dependent approximation error, and gives a decoder-margin condition for preserving full-refresh decisions. Existing DLM acceleration often trades quality for speed. Archer shifts this frontier, attaining the best mean performance of 33.63% together with a 2.57x mean speedup on the main suite. Across evaluated settings, it improves Pass@1 by up to 3.05 points and reaches up to 2.95x speedup. Controlled analyses connect the quality gain to delayed prompt feedback and validate state-aware refresh. Our code is available at https://github.com/Hxnng/Archer.