FlowBlock: 자기 수정 디퓨전 언어 모델을 위한 프론트-병렬 디코딩

FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models

블록 기반 디퓨전 대규모 언어 모델(dLLM)은 블록 단위로 순차적으로 디코딩하며, 이를 통해 블록 간 KV 캐시 재사용에 효과적이지만, 블록 간 디코딩은 엄격하게 직렬적으로 이루어진다. 기존 연구에서는 훈련 후 방법을 통해 블록 간 병렬성을 확보하려는 시도가 있었지만, 제한적인 속도 향상만 달성하거나 정확도를 저하시키는 경우가 많았다. 우리는 자기 수정 dLLM이 훈련 없이 이러한 문제를 해결할 수 있는 대안을 제시한다고 보고자 한다. 토큰-대-토큰(T2T) 편집은 약간 오래된 상위 컨텍스트로 초안 작성된 토큰을 수정하여, 하위 블록이 최종 이전 블록 대신 유용한 초안만 필요하도록 할 수 있다. 이는 블록의 최종성을 엄격한 의존성에서 일정 관리 자원으로 전환시킨다. 우리는 두 가지 메커니즘을 기반으로 하는 훈련 없는 병렬 디코딩 프레임워크인 extbf{lowblock{}}를 제안한다. (i) *게이티드 웨이브프론트 디코딩*은 준비 게이트가 충족될 때만 블록을 제한된 웨이브프론트에 허용하고, T2T 편집을 통해 활성 블록을 동시에 개선하며, 정확한 프리즈-프리픽스 KV 캐시 재사용을 유지하는 윈도우 기반 블록 인과 마스크를 사용하여 블록을 순서대로 확정한다. (ii) *이종 웨이브프론트 패킹*은 각 요청에 독립적인 웨이브프론트를 할당하면서, 비동기적 윈도우를 밀집되고 안정적인 형태의 배치 처리로 통합한다. 다양한 벤치마크에서 lowblock{}는 LLaDA-2.1 및 LLaDA-2.0, 즉 두 가지 직렬 블록 기반 dLLM보다 토큰당 시간(TPS)을 최대 2.95배 및 4.01배 향상시키고, 지연 시간을 각각 최대 53.6% 및 77.1% 감소시켰다. 또한 평균 정확도를 1.3 포인트 향상시켰다. 훈련 기반의 블록 간 병렬 처리 기준인 D2F와 비교했을 때, lowblock{}는 더 높은 정확도와 최대 16배 더 높은 배치 처리량을 달성했다.

Block-wise diffusion large language models (dLLMs) decode sequentially at the block level, enabling effective KV-cache reuse across blocks but making inter-block decoding strictly serial. Prior work has attempted to unlock inter-block parallelism through post-training methods, but achieves only modest speedups and often degrades accuracy. We observe that self-correcting dLLMs offer a training-free alternative: token-to-token (T2T) editing can repair tokens drafted with a slightly stale upstream context, so a downstream block requires only an informative draft rather than a finalized predecessor. This turns block finality from a hard dependency into a scheduling resource. We propose \textbf{\flowblock{}}, a training-free parallel decoding framework built on two mechanisms. (i) \emph{Gated Wavefront Decoding} admits blocks into a bounded wavefront only when a readiness gate is satisfied, jointly refines active blocks via T2T editing, and commits blocks in order under a windowed block-causal mask that preserves exact frozen-prefix KV caches reuse. (ii) \emph{Heterogeneous Wavefront Packing} assigns each request an independent wavefront while packing asynchronous windows into dense, shape-stable batched forwards. Across different benchmarks, \flowblock{} improves tokens per second (TPS) over LLaDA-2.1 and LLaDA-2.0, two serial block-wise dLLMs, by up to 2.95$\times$ and 4.01$\times$, while reducing latency by up to 53.6\% and 77.1\%, respectively. It also improves average accuracy by 1.3 points. Compared with D2F, a training-based inter-block-parallel baseline, \flowblock{} achieves higher accuracy and up to 16$\times$ higher batched serving throughput.