확산 언어 모델 및 그 변형들의 미래를 이끄는 10가지 당면 과제

Top 10 Open Challenges Steering the Future of Diffusion Language Model and Its Variants

현재 대형 언어 모델(LLM)의 패러다임은 텍스트를 순차적인 '벽돌 쌓기' 방식으로 생성하는 자동 회귀(AR) 아키텍처에 의해 정의됩니다. 이러한 AR 모델의 성공에도 불구하고, 전역적인 구조적 통찰과 반복적인 정제를 제한하는 인과적 병목 현상으로 인해 본질적인 제약을 받고 있습니다. 확산 언어 모델(DLM)은 텍스트 생성을 마치 조각가가 걸작을 다듬는 것과 유사한 전체적이고 양방향적인 디노이징 과정으로 개념화하여 혁신적인 대안을 제시합니다. 그러나 DLM이 종종 기존 AR 기반 인프라와 최적화 프레임워크 내에 갇혀 있어 그 잠재력은 아직 크게 발휘되지 못하고 있습니다. 본 논문(Perspective)에서는 아키텍처의 관성과 그래디언트 희소성 문제부터 DLM이 'GPT-4의 순간'에 도달하는 것을 방해하는 선형 추론의 한계에 이르기까지 10가지 근본적인 과제를 규명합니다. 우리는 기반 인프라, 알고리즘 최적화, 인지 추론, 통합 멀티모달 지능의 4가지 축으로 구성된 전략적 로드맵을 제안합니다. 다중 스케일 토큰화, 능동적 리마스킹(active remasking), 잠재적 사고(latent thinking)를 특징으로 하는 확산 네이티브(diffusion-native) 생태계로 전환함으로써, 우리는 인과적 지평의 한계를 넘어설 수 있습니다. 우리는 이러한 전환이 복잡한 구조적 추론, 동적 자가 수정, 그리고 매끄러운 멀티모달 통합이 가능한 차세대 AI 개발에 필수적임을 주장합니다.

The paradigm of Large Language Models (LLMs) is currently defined by auto-regressive (AR) architectures, which generate text through a sequential ``brick-by-brick'' process. Despite their success, AR models are inherently constrained by a causal bottleneck that limits global structural foresight and iterative refinement. Diffusion Language Models (DLMs) offer a transformative alternative, conceptualizing text generation as a holistic, bidirectional denoising process akin to a sculptor refining a masterpiece. However, the potential of DLMs remains largely untapped as they are frequently confined within AR-legacy infrastructures and optimization frameworks. In this Perspective, we identify ten fundamental challenges ranging from architectural inertia and gradient sparsity to the limitations of linear reasoning that prevent DLMs from reaching their ``GPT-4 moment''. We propose a strategic roadmap organized into four pillars: foundational infrastructure, algorithmic optimization, cognitive reasoning, and unified multimodal intelligence. By shifting toward a diffusion-native ecosystem characterized by multi-scale tokenization, active remasking, and latent thinking, we can move beyond the constraints of the causal horizon. We argue that this transition is essential for developing next-generation AI capable of complex structural reasoning, dynamic self-correction, and seamless multimodal integration.