디퓨전 언어 모델이 진정으로 병렬(비자동 회귀) 디코딩에 어려움을 겪는 이유는 무엇인가?

Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding?

디퓨전 언어 모델(DLM)은 종종 병렬 토큰 생성을 가능하게 한다고 광고되지만, 실제 빠른 DLM은 종종 왼쪽에서 오른쪽으로 진행되는 자동 회귀(AR)와 유사한 디코딩 방식으로 수렴합니다. 반면, 진정한 비자동 회귀 생성 방식은 AR의 순차적인 병목 현상을 제거하여 병렬 하드웨어를 더 효과적으로 활용하고 동기화/통신 오버헤드를 줄이며 출력 길이에 따른 지연 시간 개선 효과를 제공할 수 있습니다. 우리는 DLM의 목표와 널리 사용되는 훈련 데이터 간의 불일치가 AR과 유사한 디코딩의 주요 원인이라고 주장합니다. 여기에는 표준 사전 훈련 코퍼스와 긴 연쇄적 사고(CoT) 감독 데이터가 포함됩니다. 이러한 문제점을 해결하기 위해, 우리는 데이터 중심적인 접근 방식인 NAP(Non-Autoregressive Parallel DLMs)을 제안합니다. NAP는 감독 데이터를 여러 개의 독립적인 추론 경로로 구성하고, 병렬 디코딩을 강제하는 전략을 결합하여 여러 토큰을 동시에 업데이트하도록 유도합니다. 수학적 추론 벤치마크에서 NAP는 표준 긴 CoT 데이터로 훈련된 DLM보다 병렬 디코딩 시 더 나은 성능을 보여주며, 병렬성이 증가할수록 성능 향상 효과가 더 큽니다. 우리의 결과는 데이터와 감독 방식을 재검토하는 것이 AR과 유사한 현상을 완화하고 DLM에서 진정으로 비자동 회귀적인 병렬 생성을 가능하게 하는 효과적인 방법임을 시사합니다. 저희 코드는 https://github.com/pixeli99/NAP 에서 확인할 수 있습니다.

Diffusion Language Models (DLMs) are often advertised as enabling parallel token generation, yet practical fast DLMs frequently converge to left-to-right, autoregressive (AR)-like decoding dynamics. In contrast, genuinely non-AR generation is promising because it removes AR's sequential bottleneck, better exploiting parallel hardware to reduce synchronization/communication overhead and improve latency scaling with output length. We argue that a primary driver of AR-like decoding is a mismatch between DLM objectives and the highly sequential structure of widely used training data, including standard pretraining corpora and long chain-of-thought (CoT) supervision. Motivated by this diagnosis, we propose NAP (Non-Autoregressive Parallel DLMs), a proof-of-concept, data-centric approach that better aligns supervision with non-AR parallel decoding. NAP curates examples as multiple independent reasoning trajectories and couples them with a parallel-forced decoding strategy that encourages multi-token parallel updates. Across math reasoning benchmarks, NAP yields stronger performance under parallel decoding than DLMs trained on standard long CoT data, with gains growing as parallelism increases. Our results suggest that revisiting data and supervision is a principled direction for mitigating AR-like behavior and moving toward genuinely non-autoregressive parallel generation in DLMs. Our code is available at https://github.com/pixeli99/NAP.