잠재적 로드맵을 따라가다: 앵커 토큰을 활용한 확산형 거대 언어 모델의 취소 가능 디코딩

Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens

확산형 대규모 언어 모델(dLLM)은 병렬 생성을 위한 유망한 방법을 제공하지만, 디코딩 속도와 품질 간의 균형이라는 어려움을 안고 있습니다. 취소 가능 디코딩 전략은 오류를 수정하기 위해 토큰을 검증하고 다시 마스킹하는 방식을 사용하지만, 일반적으로 품질이 혼합된 환경에서 작동합니다. 이는 다음과 같은 두 가지 중요한 문제점을 야기합니다: (1) *오류 전파*: 새로운 토큰이 잘못된 컨텍스트로부터 유해한 정보를 흡수하는 현상, 그리고 (2) *지역적 오류 강화*: 오류들이 서로를 강화하여 탐지를 회피하는 현상입니다. 이러한 문제를 완화하기 위해, 우리는 훈련 과정이 필요 없는 프레임워크인 ASRD(Anchor Supervised Revocable Decoding)를 제안합니다. ASRD는 임베딩 공간에서 작동하며, 시간적 일관성을 통해 식별되는 신뢰할 수 있는 *앵커 토큰*과 불확실한 후보 토큰으로 디코딩 컨텍스트를 명시적으로 분리합니다. 동적인 앵커 토큰 캐시를 활용하여, 우리는 다음과 같은 두 가지 상호 보완적인 메커니즘을 도입했습니다: (1) 앵커 기반 생성: 마스킹된 위치에 엔트로피 가중치가 적용된 앵커 신호를 주입하여 주의 집중을 안정적인 전체 구조로 유도하는 방식, 그리고 (2) 앵커 기반 검증: 불확실한 후보 토큰에 직교 변환을 적용하여 취약한 지역적 합의에 의해 발생하는 오류를 불안정하게 만들고 다시 마스킹하는 방식입니다. 수학 및 코딩 벤치마크에서의 광범위한 실험 결과, ASRD는 기존의 리마스킹 기반 방법보다 우수한 성능을 보이며, 최대 6.4%의 정확도 향상과 최대 7.2배의 추론 처리 속도 향상을 달성했습니다.

Diffusion Large Language Models (dLLMs) offer a promising avenue for parallel generation but face a trade-off between decoding speed and quality. While revocable decoding strategies attempt to mitigate errors by verifying and remasking tokens, they typically operate within a mixed-quality context. This leads to two critical failures: \textit{Error Propagation}, where new tokens absorb toxic information from erroneous context, and \textit{Local Error Reinforcement}, where errors mutually reinforce each other to evade detection. To alleviate these challenges, we propose ASRD (Anchor Supervised Revocable Decoding), a training-free framework that operates within the embedding space. ASRD explicitly decouples the decoding context into trusted \textit{Anchor Tokens}, which are identified via temporal consistency, and uncertain candidates. Leveraging a dynamic Anchor Tokens Cache, we introduce two complementary mechanisms: (1) Anchor-Guided Generation, which injects entropy-weighted anchor signals into masked positions to implicitly rectify attention toward the reliable global skeleton; and (2) Anchor-Perturbed Verification, which applies orthogonal perturbations to uncertain candidate tokens, destabilizing and remasking errors driven by fragile local consensus. Extensive experiments on math and coding benchmarks demonstrate that ASRD outperforms recent remasking baselines, achieving accuracy improvements of up to 6.4\% while accelerating inference throughput by up to 7.2$\times$.