계획, 검증 및 채우기: 확산 언어 모델을 위한 구조화된 병렬 디코딩 접근 방식

Plan, Verify and Fill: A Structured Parallel Decoding Approach for Diffusion Language Models

확산 언어 모델(DLM)은 텍스트 생성에 있어 표준 자동 회귀(AR) 방식과는 다른, 유망한 비순차적 패러다임을 제시합니다. 그러나 현재 디코딩 전략은 종종 수동적인 방식으로, 전체적인 양방향 맥락을 활용하여 전체적인 흐름을 결정하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 훈련 과정이 필요 없는 계획-검증-채우기(PVF) 패러다임을 제안합니다. PVF는 정량적 검증을 통해 계획을 수립하며, 중요한 의미 지표를 우선적으로 활용하여 계층적 구조를 구축합니다. 또한, 추가적인 논의가 감소하는 수익을 가져오는 경우, 실질적인 구조적 중단을 위한 검증 프로토콜을 사용합니다. LLaDA-8B-Instruct 및 Dream-7B-Instruct에 대한 광범위한 실험 결과, PVF는 신뢰도 기반 병렬 디코딩에 비해 벤치마크 데이터 세트에서 최대 65%까지 함수 평가 횟수(NFE)를 줄이며, 정확도를 손상시키지 않고 우수한 효율성을 제공하는 것으로 나타났습니다.

Diffusion Language Models (DLMs) present a promising non-sequential paradigm for text generation, distinct from standard autoregressive (AR) approaches. However, current decoding strategies often adopt a reactive stance, underutilizing the global bidirectional context to dictate global trajectories. To address this, we propose Plan-Verify-Fill (PVF), a training-free paradigm that grounds planning via quantitative validation. PVF actively constructs a hierarchical skeleton by prioritizing high-leverage semantic anchors and employs a verification protocol to operationalize pragmatic structural stopping where further deliberation yields diminishing returns. Extensive evaluations on LLaDA-8B-Instruct and Dream-7B-Instruct demonstrate that PVF reduces the Number of Function Evaluations (NFE) by up to 65% compared to confidence-based parallel decoding across benchmark datasets, unlocking superior efficiency without compromising accuracy.