하드 마스크를 넘어: 디퓨전 언어 모델을 위한 점진적인 토큰 진화

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models

디퓨전 언어 모델(DLM)은 반복적인 정제를 통해 병렬 디코딩을 가능하게 하여 언어 모델링의 유망한 대안을 제시합니다. 그러나 대부분의 DLM은 하드 이진 마스킹과 이산적인 토큰 할당에 의존하는데, 이는 초기 결정의 수정 능력을 저해하고 중간 단계의 확률적 표현을 충분히 활용하지 못합니다. 본 논문에서는 하드 이진 마스크를 진화하는 소프트 토큰 분포로 대체하는 새로운 디퓨전 기반 언어 모델링 접근 방식인 EvoToken-DLM을 제안합니다. EvoToken-DLM은 마스킹된 상태에서 이산적인 출력으로 점진적으로 전환되도록 하여 수정 가능한 디코딩을 지원합니다. 이러한 진화를 효과적으로 지원하기 위해, 우리는 학습 목표를 반복적인 확률적 업데이트와 일치시키는 연속적인 경로 감독(continuous trajectory supervision)을 도입합니다. 다양한 벤치마크에서의 광범위한 실험 결과, EvoToken-DLM은 일관되게 우수한 성능을 달성했으며, 강력한 디퓨전 기반 및 마스킹 DLM 모델들을 능가하는 것으로 나타났습니다. 프로젝트 웹페이지: https://aim-uofa.github.io/EvoTokenDLM.

Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.