탐색적 모델링: 새로운 사전 학습 축을 활용하고 엔드 투 엔드 생성 구현

Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

AlexNet으로 시작된 딥러닝 혁명은 문제 해결 방식을 수동 설계된 단계로 분해하는 것보다 엔드 투 엔드 학습이 더 효과적이라는 것을 보여주었습니다. 그러나 생성 모델링은 예외였습니다. 생성 모델은 놀라운 능력을 가지고 있지만, 여전히 엔드 투 엔드로 학습되지 않습니다. 이는 생성 모델링의 핵심이 많은 모드를 가진 분포를 처리하는 것이며, 기존의 확장 가능한 접근 방식들은 이 과정을 분해하여 처리하기 때문에 엔드 투 엔드 생성이 불가능하기 때문입니다. 본 연구에서는 탐색적 모델링(Explorative Modeling)이라는 새로운 패러다임을 소개합니다. 이는 학습 루프를 분해하는 대신, 모델 생성 결과와 데이터 간의 K개의 후보 매칭을 탐색하고 가장 적합한 것을 선택하여 학습함으로써 예측이 모드를 명확하게 표현하도록 합니다. 우리는 탐색적 모델(XMs)이 두 가지 측면에서 유용함을 확인했습니다. 첫째, 탐색은 기존 생성 모델의 파라미터와 데이터 외에 세 번째 사전 학습 축을 제공하며, 탐색 수준을 높이면 연속 및 이산 영역(이미지, 비디오, 언어) 모두에서 성능이 지속적으로 향상됩니다. 주목할 점은 탐색으로 얻는 효과가 규모가 커질수록 증가하는데, 데이터 규모가 3배 증가하면 7%에서 36%로, 모델 크기가 증가하면 13%에서 23%로 개선되며, 연산량이 3배 증가하면 효율성 향상 폭이 2배 이상으로 높아집니다. 구체적으로, 탐색은 FLOP 효율을 4.1배, 샘플 효율을 6.2배, 파라미터 효율을 47% 향상시키고, ImageNet에서 가이드 없이 최고 수준의 이미지 생성 성능인 1.43 FID를 달성하며, 기존 모델의 엔드 투 엔드 연결성을 높이고 일반화 성능을 향상시킵니다. 둘째, XMs는 디퓨전 모델에 비해 훨씬 적은 추론 단계(16~256배)로 제어 작업을 수행하는 엔드 투 엔드 재구성 생성 모델링을 가능하게 합니다. 이러한 결과들을 종합적으로 고려할 때, XMs는 기존 생성 모델의 새로운 사전 학습 축이자 독립적인 엔드 투 엔드 생성 모델링 패러다임으로 자리매김합니다.

The deep learning revolution, kicked off by AlexNet, taught us that end-to-end training beats decomposing a problem into hand-designed stages. Generative modeling, however, has remained the exception-despite generative models being remarkably capable, they are still not trained end-to-end. This is because, at its core, generative modeling is about handling distributions with many modes, and existing scalable approaches handle this the same way, by factoring the generation procedure, which prevents end-to-end generation. In this work, we introduce Explorative Modeling, a new paradigm that instead factors the training loop, exploring K candidate matches between model generations and data, and training on the best, so predictions commit to modes rather than blurring them. We find Explorative Models (XMs) useful in two settings. First, increasing exploration adds a third pretraining axis beyond parameters and data for existing generative models-where scaling exploration monotonically improves performance across both continuous and discrete domains (images, video, and language). Notably, gains from exploration increase with scale, climbing from 7% to 36% as data scales and from 13% to 23% as models grow, with efficiency gains more than doubling at 3x the compute. Concretely, exploration improves FLOP efficiency by 4.1x, sample efficiency by 6.2x, parameter efficiency by 47%, lifts the strongest of image-generation recipes to a near-state-of-the-art 1.43 FID on ImageNet without guidance, enables scaling how end-to-end existing models are, and unlocks scaling generalization. Second, XMs enable end-to-end reconstructive generative modeling, matching diffusion on control tasks with 16-256x fewer inference steps. Together, these results establish XMs as both a new pretraining axis for existing generative models and a standalone end-to-end generative modeling paradigm.