확인 정렬 기반 스코어 매칭: 확산 모델에서의 텍스트-이미지 정렬

Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models

확산 모델은 매우 사실적인 이미지를 생성하지만, 종종 정확한 텍스트-이미지 정렬에 어려움을 겪습니다. 최근의 사후 학습 방법들은 외부 보상 또는 인간 선호도 신호를 사용하여 정렬을 개선하지만, 이러한 방법들의 성능은 보상의 품질에 크게 의존하며 확산 과정 자체 내에서의 정렬 문제를 직접적으로 해결하지 못합니다. SoftREPA와 같은 최근의 보상 없이 작동하는 접근 방식들은 대조 학습을 통해 소프트 텍스트 토큰을 최적화함으로써 텍스트-이미지 표현 정렬을 효과적으로 개선할 수 있으며, 이는 표준적인 파라미터 효율적인 미세 조정 기준보다 우수한 성능을 보여줍니다. 그러나 대조 공식은 부정 쌍에 과도한 페널티를 부과하여, 과도한 계산 및 반복과 같은 특징적인 실패 사례를 야기할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 확산 모델의 스코어 매칭 목적 함수에 대조 정렬 지침을 직접 통합하여 소프트 토큰을 개선하는 경량화된, 보상 없는 사후 학습 방법을 제안합니다. 스코어 레벨에서 정렬 방향을 할당함으로써, 우리의 접근 방식은 이러한 한계점을 완화하고 더욱 일관성 있고 의미적으로 정확한 결과물을 생성합니다. 실험 결과, 우리의 방법은 SoftREPA와 유사한 성능을 보이면서도 실패 사례를 크게 개선하며, GenEval 벤치마크에서 계산 정확도를 35% 이상 향상시켰습니다. 또한, 우리 방법은 기존의 확산 모델 아키텍처(SD1.5, SDXL 및 SD3)에 쉽게 적용할 수 있으며, 기존의 강화 학습 기반 확산 모델 사후 학습 방법에 대한 보완적인 역할을 수행합니다. 프로젝트 페이지: https://jaayeon.github.io/AGSM

Diffusion models generate highly realistic images but often struggle with precise text-image alignment. While recent post-training methods improve alignment using external rewards or human preference signals, their performance heavily depends on reward quality and does not directly address alignment within the diffusion process itself. Recent reward-free approaches such as SoftREPA demonstrate that optimizing soft text tokens via contrastive learning can effectively improve text-image representation alignment, outperforming standard parameter-efficient fine-tuning baselines. However, the contrastive formulation can excessively penalize negative pairs, which manifests as characteristic failure cases such as over-counting and repetition. To address this issue, we propose a lightweight, reward-free post-training method that refines soft tokens by integrating contrastive alignment guidance directly into the score-matching objective of diffusion models. By assigning alignment directions at the score level, our approach mitigates these limitations and yields more coherent and semantically faithful generations. Experiments show that our method matches SoftREPA while substantially improving its failure cases, achieving over 35% improvement in counting accuracy on the GenEval benchmark. Our method is seamlessly applicable to existing diffusion backbones (SD1.5, SDXL, and SD3), and is complementary to existing RL-based diffusion post-training methods. Project page: https://jaayeon.github.io/AGSM