NextFlow: 통합 순차적 모델링을 통한 다중 모드 이해 및 생성

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

본 논문에서는 6조 개의 텍스트-이미지 이산 토큰으로 학습된, 디코더 전용의 자기 회귀 트랜스포머 모델인 NextFlow를 제시합니다. NextFlow는 통합된 자기 회귀 아키텍처 내에서 통합된 시각적 표현을 활용하여, 텍스트와 이미지를 결합한 콘텐츠 생성, 이미지 편집, 비디오 생성과 같은 다중 모드 이해 및 생성 능력을 자연스럽게 활성화합니다. 텍스트는 엄격하게 순차적이고, 이미지는 본질적으로 계층적인 특성을 가지고 있다는 점에 착안하여, 텍스트의 경우 다음 토큰 예측을 사용하지만, 시각적 생성의 경우 다음 스케일 예측을 채택합니다. 이는 전통적인 라스터 스캔 방식과 달리, 1024x1024 해상도의 이미지를 단 5초 만에 생성할 수 있도록 하여, 유사한 자기 회귀 모델보다 훨씬 빠른 속도를 제공합니다. 다중 스케일 생성 과정에서 발생하는 불안정성을 해결하기 위해 견고한 학습 방법을 적용하였으며, 강화 학습을 위한 프리픽스 튜닝 전략을 도입했습니다. 실험 결과, NextFlow는 통합 모델 중에서 최고 수준의 성능을 달성하며, 시각적 품질 측면에서 특화된 디퓨전 기반 모델과 경쟁하는 것으로 나타났습니다.

We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.