BlockBatch: 효율적인 확산 언어 모델 추론을 위한 다중 스케일 합의 디코딩

BlockBatch: Multi-Scale Consensus Decoding for Efficient Diffusion Language Model Inference

확산 언어 모델(dLLMs)은 여러 토큰 위치를 병렬로 반복적으로 노이즈 제거하여 텍스트를 생성하며, 이는 엄격한 자동 회귀 디코딩에 대한 매력적인 대안을 제공합니다. 그러나 실제로는 블록 단위의 dLLM 추론은 어려운 균형점을 제시합니다. 작은 블록 크기는 로컬 컨디셔닝을 유지하지만 많은 노이즈 제거 단계를 필요로 하는 반면, 큰 블록 크기는 더 많은 병렬성을 제공하지만 조기에 결정을 내릴 수 있으며 캐시 오류를 누적할 수 있습니다. 기존의 가속화 방법은 일반적으로 요청당 하나의 블록 크기만 선택하여 다양한 블록 크기 간의 상호 보완적인 이점을 활용하지 못합니다. 본 연구에서는 블록 크기가 자체적으로 유용한 분기 차원임을 보여줍니다. 서로 다른 블록 크기는 관련이 있지만 동일하지 않은 KV-캐시 경로를 생성하며, 이러한 경로는 종종 초기 접두사를 공유하고 의미론적으로 중요한 위치에서 분기되며, 나중에 구문적으로 가벼운 토큰에 대해 합의합니다. 이러한 구조에 착안하여, 본 연구에서는 훈련 없이 실시간 추론을 수행하는 BlockBatch라는 프레임워크를 제안합니다. BlockBatch는 배치 처리된 순방향 패스 내에서 동일한 요청에 대한 여러 블록 크기 분기를 실행하며, 신뢰도 기반 토큰 병합, 리더 기반 동기화 및 주기적인 전체 시퀀스 갱신을 통해 이러한 분기를 조정하여 로컬 블록 업데이트를 전역적으로 일관된 KV 상태에 재정렬합니다. 3가지 대표적인 dLLM과 4개의 데이터 세트를 사용하여 BlockBatch는 평균적으로 노이즈 제거 횟수를 26.6% 줄이고 Fast-dLLM보다 평균 1.33배 빠른 속도를 달성하면서 정확도를 유지했습니다. 이러한 결과는 블록 크기 다양성을 분기 병렬 dLLM 추론을 위한 실용적이고, 이전에 충분히 탐구되지 않은 중요한 요소로 보여줍니다.

Diffusion language models (dLLMs) generate text by iteratively denoising multiple token positions in parallel, offering an attractive alternative to strictly autoregressive decoding. In practice, however, block-wise dLLM inference exposes a difficult granularity trade-off: small blocks preserve local conditioning but require many denoising steps, whereas large blocks expose more parallelism but can make premature commitments and accumulate cache error. Existing acceleration methods typically choose a single block size per request, leaving the complementarity among block sizes unused. We show that block size itself is a useful branching dimension. Different block sizes induce related but non-identical KV-cache trajectories: branches often share an initial prefix, bifurcate at semantically decisive positions, and later agree on syntactically lightweight tokens. Motivated by this structure, we propose BlockBatch, a training-free online inference framework that executes multiple block-size branches for the same request inside a batched forward pass. BlockBatch coordinates these branches through confidence-gated token merging, leader-based synchronization, and periodic full-sequence refreshes that re-anchor local block updates to a globally consistent KV state. Across 3 representative dLLMs and 4 datasets, BlockBatch reduces denoising NFEs by 26.6\% on average and achieves a 1.33$\times$ average end-to-end speedup over Fast-dLLM while preserving accuracy. These results identify block-size diversity as a practical and previously underexplored axis for branch-parallel dLLM inference.