확산 모델 기반 생성형 LLM을 위한 분산 강화 학습: 병렬 처리 및 트레이너 지원 생성을 통한 성능 향상

Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation

강화 학습(Reinforcement Learning, RL)은 오토리거시브 대규모 언어 모델(Large Language Models, LLMs)과 같은 고성능 RL 시스템 개발을 주도하는 중요한 후처리 패러다임으로 자리 잡았습니다. 동시에 DanceGRPO 및 FlowGRPO와 같은 확산 기반 RL 알고리즘은 언어 추론에서 시각 및 흐름 기반 생성 영역으로 RL의 적용 범위를 빠르게 확장했습니다. 그러나 확산 모델 기반 생성형 LLM을 위한 효율적인 RL 시스템에 대한 연구는 아직 부족합니다. 기존 구현 방식(예: veRL-Omni)은 여전히 통합된 실행 방식을 사용하며, 이는 동기화 과정을 단순화하지만, Rollout과 학습 자원을 결합하여 이질적인 환경에서의 배포를 제한하고 독립적인 확장을 어렵게 만듭니다. 이에 따라, 본 연구에서는 확산 모델 기반 생성형 LLM을 위한 분산 RL 프레임워크인 DigenRL을 제안합니다. DigenRL은 유연한 자원 할당, 이질적인 GPU 지원 및 효율적인 작업 스케줄링을 가능하게 합니다. 분산 아키텍처에서의 실행 지연 시간을 최소화하기 위해 다음과 같은 방법을 제안합니다. 1) 확산 모델 아키텍처 내에서 생성 축 파이프라인(Generation-Axis Pipeline, GAP)과 타임스텝 병렬 처리(Time-Step Parallelism, TSP)를 도입하여 Rollout 및 학습 단계 간의 더욱 세분화된 파이프라이닝을 구현합니다. 2) 유연한 트레이너 지원 생성(Elastic Trainer-Assisted Generation, TAG) 방식을 통해 트레이너 GPU 자원이 Rollout 생성 실행에 동적으로 참여하도록 합니다. 3) 파이프라인 내의 잔여 지연 시간을 최대한 활용하기 위한 단일 단계 제약 비동기 전략을 적용합니다. 본 연구에서는 HunyuanVideo-13B, Wan2.1-14B, FLUX.1-12B 및 QwenImage-20B 생성 모델을 사용하여 16~32개의 GPU를 갖춘 세 가지 하드웨어 테스트 환경에서 광범위한 실험을 수행했습니다. 실험 결과는 DigenRL이 최첨단 확산 기반 RL 시스템인 veRL-Omni 및 GenRL에 비해 1.56배에서 2.10배 향상된 처리량을 달성했음을 보여줍니다.

Reinforcement learning (RL) has become a dominant post-training paradigm, driving the emergence of high-performance RL systems such as veRL for autoregressive large language models (LLMs). In parallel, diffusion-oriented RL algorithms, e.g., DanceGRPO and FlowGRPO, have rapidly expanded the scope of RL from language reasoning to diffusion-based visual and flow-based generation. However, efficient RL systems for diffusion generative LLMs remain underexplored. Existing implementations, e.g., veRL-Omni, still rely on colocated execution, which simplifies synchronization but couples rollout and training resources, limits heterogeneous deployment, and constrains independent scaling. To this end, we introduce DigenRL, a disaggregated RL framework for diffusion-based generative LLMs that supports flexible resource allocation, accommodates heterogeneous GPUs, and facilitates efficient task scheduling. To maximally reduce the execution bubbles in the disaggregated architecture, we propose: 1) a generation-axis pipeline (GAP) and time-step parallelism (TSP) in the diffusion architecture to enable finer-grained pipelining between rollout and training; 2) an elastic trainer-assisted generation (TAG) approach to enable the trainer GPU resources to dynamically assist in executing rollout generations; and 3) a tightly one-step constrained asynchronous strategy to further utilize the tail bubble in the pipeline. Extensive experiments are conducted on three hardware testbeds with 16-32 GPUs using HunyuanVideo-13B, Wan2.1-14B, FLUX.1-12B, and QwenImage-20B generative models. Experimental results show that DigenRL achieves 1.56-2.10x throughput improvements over state-of-the-art diffusion RL systems, veRL-Omni and GenRL.