STAR: 텍스트-이미지 강화 학습 후처리 과정에서의 시공간적 적응형 보상 할당

STAR: SpatioTemporal Adaptive Reward Allocation for Text-to-Image RL Post-Training

기존의 텍스트-이미지 생성에 사용되는 강화 학습 후처리 방법은 일반적으로 최종 이미지에 대한 보상을 단일 스칼라 값으로 변환하고, 이를 전체 생성 과정을 동일한 강도로 적용합니다. 그러나 텍스트-이미지 생성 과정은 본질적으로 시간적 및 공간적 구조를 가지고 있습니다. 각 디노이징 단계는 서로 다른 생성 단계를 담당하며, 실제 텍스트 정렬을 결정하는 내용은 이미지의 일부에만 나타나는 경우가 많습니다. 이러한 세분화 수준의 불일치는 정책 업데이트가 실제로 보상에 영향을 미치는 생성 구성 요소에 집중하기 어렵게 만듭니다. 이 문제를 해결하기 위해, 우리는 텍스트-이미지 확산 및 흐름 모델의 강화 학습 후처리 과정에 대한 extbf{시공간적 적응형 보상 (STAR) 할당} 방법을 제안합니다. STAR는 생성 모델 내부의 텍스트-이미지 어텐션을 사용하고, 사용자에게 실제로 중요한 핵심 콘텐츠에서 시작합니다. 이는 디노이징 단계 및 실행마다 동적으로 변하는 공간 할당 맵을 구성하며, 관련성이 높은 잠재 영역에 상대적인 그룹 내 이점을 거의 추가적인 계산 오버헤드 없이 할당합니다. 그런 다음 STAR는 이러한 영역에 대해 공간 해상도의 정책 목표를 통해 더 강력한 정책 업데이트를 적용합니다. 우리는 Stable Diffusion 3.5 Medium을 기본 모델로 사용하고, GenEval, OCR 텍스트 렌더링 및 PickScore의 세 가지 작업에서 성능을 평가했습니다. 실험 결과는 STAR가 외부 보상 소스를 변경하지 않고도 합성 의미 정렬, 텍스트 렌더링 및 선호도 최적화를 향상시키며, 각각 GenEval, OCR 및 PickScore에서 $ extbf{0.9759}$, $ extbf{0.9757}$ 및 $ extbf{23.60}$의 성능을 달성했음을 보여줍니다.

Existing RL post-training methods for text-to-image generation usually convert the final-image reward into a single scalar advantage and apply it with the same strength to the entire generative trajectory. However, text-to-image generation naturally has temporal and spatial structure: different denoising steps are responsible for different generation stages, and the content that truly determines text alignment often appears only in part of the image. This granularity mismatch makes it difficult for policy updates to focus on the generative components that actually affect the reward. To address this issue, we propose \textbf{SpatioTemporal Adaptive Reward (STAR) Allocation} for RL post-training of text-to-image diffusion and flow models. STAR uses text-image attention inside the generative model and starts from the core content that the user truly cares about in the prompt. It constructs spatial allocation maps that dynamically vary across denoising steps and rollouts, and allocates the same group-relative advantage to more relevant latent regions with almost no additional computational overhead. STAR then applies stronger policy updates to these regions through a spatially resolved policy objective. We use Stable Diffusion 3.5 Medium as the base model and evaluate on three tasks: GenEval, OCR text rendering, and PickScore. Experimental results show that STAR improves compositional semantic alignment, text rendering, and preference optimization without changing the external reward source, achieving $\mathbf{0.9759}$, $\mathbf{0.9757}$, and $\mathbf{23.60}$ on GenEval, OCR, and PickScore, respectively.