이산 확산 모델: 토큰화부터 생성까지의 통합 프레임워크

Discrete Diffusion Models: A Unified Framework from Tokenization to Generation

최근 이산 데이터에 대한 자기 회귀(AR) 모델링의 강력한 대안으로 등장한 이산 노이즈 제거 확산 모델(DDMs)은 병렬 생성 및 반복적인 전역 개선 기능을 제공합니다. 연속 확산과는 달리, 상태 공간이 고정된 곳에서 DDMs는 기본적으로 이산 상태 공간의 구성 방식에 의해 결정됩니다. 여기에는 토큰화 방식, 어휘 구조, 그리고 도메인별 구조적 알파벳이 포함됩니다. 본 연구에서는 기본적인 이산 상태 공간 구축 관점에서 이산 확산 모델을 바라보는 통합적인 개념적 프레임워크를 제시합니다. 이 프레임워크 내에서 기존의 다양한 방법론(예: 전이 행렬 기반, 마스킹/흡수 상태 기반, 스코어/비율 기반 방식)은 공통 설계 공간의 서로 다른 구현 방식으로 나타납니다. 또한 이 프레임워크는 학습 목표, 추론 알고리즘, 확장성, 시스템 최적화 및 평가 프로토콜 전반에 걸친 일반적인 설계상의 트레이드오프를 드러내며, 이는 향후 연구를 위한 여러 가지 유망한 방향을 제시합니다.

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.