AURORA-LM: 연속적인 잠재 공간 확산 언어 모델을 위한 자동 인코딩 통합 표현

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling

언어는 생성 모델링 분야에서 여전히 특이한 위치를 차지합니다. 이미지, 비디오 및 오디오는 점점 더 연속적인 잠재 공간으로 모델링되는 반면, 텍스트 생성은 여전히 주로 이산 토큰에 의존합니다. 기존의 연속 언어 모델은 공동 생성 및 디코딩을 위해 설계되지 않은 임베딩 공간을 상속하거나, 확산을 용이하게 하기 위해 자동 인코딩된 잠재 변수를 압축하여 토큰 수준의 정확도를 손실합니다. 우리는 표현 방식을 생성 모델에 맞게 단순화하는 대신, 높은 용량과 디코딩 가능성을 갖춘 텍스트 잠재 변수를 유지하고, 확산 모델이 해당 분포를 직접 학습하도록 설계했습니다. AURORA-LM은 디코딩 가능한 텍스트 표현의 구성과 그 분포 모델링을 분리하는 연속 잠재 공간 확산 언어 모델입니다. Query 기반 인코더-디코더는 텍스트를 높은 용량의, 접두사 정렬된 잠재 시퀀스로 구성하고, Block-causal Diffusion Transformer는 플로우 매칭을 통해 해당 분포를 학습하며, 블록 내의 위치를 병렬로 디노이징하면서 왼쪽에서 오른쪽으로 블록을 생성합니다. 이러한 잠재 변수는 확산 모델이 모델링하기 더 어렵기 때문에, AURORA-LM은 노이즈가 추가된 입력 경로에만 제한하고 전체 클린 잠재 변수 예측 목표를 유지하여 디코더의 용량을 감소시키지 않고 전체 폭의 잠재 변수를 수용합니다. 우리는 또한 노이즈 레벨 분포를 잠재 변수의 폭에 맞춰 조정하고, 독립적으로 샘플링된 훈련 노이즈와 추론 단계에서의 반복적인 디노이징을 연결하기 위해 자체 경로 일관성을 도입했습니다. AURORA-LM은 평가된 연속 및 확산 기반 언어 모델 중에서 OpenWebText의 자유 생성 및 XSum 요약 작업에서 가장 뛰어난 성능을 보입니다. 약 1500 EFLOPs의 총 컴퓨팅 자원을 사용하여 10억 개의 파라미터로 확장하면 추가적인 성능 향상을 얻을 수 있으며, 이는 동일한 평가 프로토콜 하에서 공개된 더 큰 잠재-확산 언어 모델보다 뛰어난 결과를 보여줍니다. 모든 실험은 Ascend NPU를 사용하여 수행되었습니다.

Language remains an outlier in generative modeling: while images, video, and audio are increasingly modeled in continuous latent spaces, text generation still relies predominantly on discrete tokens. Existing continuous language models either inherit embedding spaces not designed for joint generation and decoding, or compress autoencoded latents to ease diffusion, sacrificing token-level fidelity. Instead of simplifying the representation to suit the generative model, we preserve a high-capacity, decodable text latent and design the diffusion model to learn its distribution directly. We introduce AURORA-LM, a continuous-latent diffusion language model that separates the construction of a decodable text representation from the modeling of its distribution. A Query-based Encoder-Decoder organizes text into a high-capacity, prefix-aligned latent sequence, and a Block-causal Diffusion Transformer learns its distribution through flow matching, generating blocks left to right while denoising positions within each block in parallel. Because such a latent is harder for diffusion to model, AURORA-LM restricts only the noisy-input pathway while retaining the full clean-latent prediction target, accommodating full-width latents without reducing decoder-facing capacity. We further calibrate the noise-level distribution to the latent width, and introduce self-trajectory consistency to bridge independently sampled training noise and iterative denoising at inference. AURORA-LM achieves the strongest performance among evaluated continuous and diffusion-based language models on OpenWebText free generation and XSum summarization. Scaling to 1B parameters with about 1500 EFLOPs of total compute yields further gains, surpassing a larger publicly released latent-diffusion language model under a matched evaluation protocol. All experiments are conducted on Ascend NPUs.