다양한 생성 순서를 통합하는 마스크 디퓨전 모델: 그리고 그 이상

Unifying Masked Diffusion Models with Various Generation Orders and Beyond

마스크 디퓨전 모델(MDM)은 언어 생성에 대한 자기 회귀 모델(ARM)의 잠재적인 대안이지만, 생성 품질은 생성 순서에 크게 의존합니다. 기존 연구는 특정 순서를 고정하거나, 사전 학습된 MDM에 대한 순서 정책을 학습하는 방식을 사용했는데, 이는 추가적인 비용을 발생시키고, 두 단계 최적화로 인해 최적의 결과를 얻지 못할 수 있습니다. 이러한 문제점을 해결하기 위해, 우리는 다양한 생성 순서를 가진 광범위한 디퓨전 생성 과정에 대한 순서 표현 마스크 디퓨전 모델(OeMDM)을 제안합니다. 이를 통해 MDM, ARM 및 블록 디퓨전을 단일 프레임워크 내에서 해석할 수 있습니다. 또한, OeMDM을 기반으로, 우리는 생성 순서와 디퓨전 백본을 단일 목표 함수를 통해 처음부터 공동으로 학습하는 학습 가능한 순서 마스크 디퓨전 모델(LoMDM)을 소개합니다. LoMDM은 텍스트를 문맥에 따라 다른 순서로 생성할 수 있도록 합니다. 실험 결과, LoMDM은 다양한 이산 디퓨전 모델보다 여러 언어 모델링 벤치마크에서 더 우수한 성능을 보였습니다.

Masked diffusion models (MDMs) are a potential alternative to autoregressive models (ARMs) for language generation, but generation quality depends critically on the generation order. Prior work either hard-codes an ordering (e.g., blockwise left-to-right) or learns an ordering policy for a pretrained MDM, which incurs extra cost and can yield suboptimal solutions due to the two-stage optimization. Motivated by this, we propose order-expressive masked diffusion model (OeMDM) for a broad class of diffusion generative processes with various generation orders, enabling the interpretation of MDM, ARM, and block diffusion in a single framework. Furthermore, building on OeMDM, we introduce learnable-order masked diffusion model (LoMDM), which jointly learns the generation ordering and diffusion backbone through a single objective from scratch, enabling the diffusion model to generate text in context-dependent ordering. Empirically, we confirm that LoMDM outperforms various discrete diffusion models across multiple language modeling benchmarks.