PromptEcho: 비전-언어 모델로부터 얻는 어노테이션 불필요한 보상 - 텍스트-이미지 강화 학습을 위한 방법

PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

강화 학습(RL)은 텍스트-이미지(T2I) 모델의 프롬프트 준수 능력을 향상시킬 수 있지만, 고품질의 보상 신호를 얻는 것은 여전히 어려운 과제입니다. CLIP Score는 너무 일반적이며, VLM 기반 보상 모델(예: RewardDance)은 비용이 많이 드는 인간이 직접 작성한 선호도 데이터와 추가적인 미세 조정을 필요로 합니다. 본 연구에서는 어떠한 어노테이션도, 보상 모델 훈련도 필요 없는 보상 생성 방법인 PromptEcho를 제안합니다. PromptEcho는 생성된 이미지와 가이드 쿼리를 입력받아, 동결된 VLM의 토큰 수준 교차 엔트로피 손실을 계산합니다. 이때, 원래 프롬프트를 레이블로 사용하여 VLM 사전 훈련 중에 인코딩된 이미지-텍스트 정렬 지식을 직접 추출합니다. PromptEcho는 결정론적이며, 계산 효율성이 뛰어나며, 더 강력한 오픈 소스 VLM이 등장함에 따라 자동으로 성능이 향상됩니다. 성능 평가를 위해, 프롬프트 준수 능력을 엄격하게 테스트하기 위한 개념이 풍부한 상세 캡션을 포함하는 벤치마크인 DenseAlignBench를 개발했습니다. 최첨단 T2I 모델 두 가지(Z-Image 및 QwenImage-2512)에 대한 실험 결과, PromptEcho는 DenseAlignBench에서 상당한 성능 향상(+26.8pp / +16.2pp의 순수 증가율)을 달성했으며, 별도의 태스크별 훈련 없이 GenEval, DPG-Bench 및 TIIFBench에서도 일관된 성능 향상을 보였습니다. 추가 분석을 통해, PromptEcho가 동일한 VLM을 사용한 추론 기반 평가 방법보다 전반적으로 우수하며, 보상 품질이 VLM의 크기에 따라 증가한다는 것을 확인했습니다. 본 연구에서 학습된 모델과 DenseAlignBench는 오픈 소스로 공개될 예정입니다.

Reinforcement learning (RL) can improve the prompt following capability of text-to-image (T2I) models, yet obtaining high-quality reward signals remains challenging: CLIP Score is too coarse-grained, while VLM-based reward models (e.g., RewardDance) require costly human-annotated preference data and additional fine-tuning. We propose PromptEcho, a reward construction method that requires \emph{no} annotation and \emph{no} reward model training. Given a generated image and a guiding query, PromptEcho computes the token-level cross-entropy loss of a frozen VLM with the original prompt as the label, directly extracting the image-text alignment knowledge encoded during VLM pretraining. The reward is deterministic, computationally efficient, and improves automatically as stronger open-source VLMs become available. For evaluation, we develop DenseAlignBench, a benchmark of concept-rich dense captions for rigorously testing prompt following capability. Experimental results on two state-of-the-art T2I models (Z-Image and QwenImage-2512) demonstrate that PromptEcho achieves substantial improvements on DenseAlignBench (+26.8pp / +16.2pp net win rate), along with consistent gains on GenEval, DPG-Bench, and TIIFBench without any task-specific training. Ablation studies confirm that PromptEcho comprehensively outperforms inference-based scoring with the same VLM, and that reward quality scales with VLM size. We will open-source the trained models and the DenseAlignBench.