반복적인 개선이 합성 이미지 생성 성능을 향상시킨다

Iterative Refinement Improves Compositional Image Generation

텍스트-이미지(T2I) 모델은 놀라운 발전을 이루었지만, 여전히 여러 객체, 관계 및 속성을 동시에 처리해야 하는 복잡한 프롬프트에 어려움을 겪습니다. 기존의 추론 시간 전략, 예를 들어 검증기를 사용한 병렬 샘플링 또는 디노이징 단계를 늘리는 것은 프롬프트 일관성을 개선할 수 있지만, 많은 제약 조건을 충족해야 하는 복잡한 환경에서는 여전히 부족합니다. 대규모 언어 모델에서 사슬-연쇄 추론의 성공에 영감을 받아, 우리는 T2I 모델이 여러 단계를 거치면서 생성 결과를 점진적으로 개선하는 반복적인 테스트 시간 전략을 제안합니다. 이 과정에서 비전-언어 모델이 비평가 역할을 수행하여 피드백을 제공합니다. 우리의 접근 방식은 간단하며, 외부 도구나 사전 지식이 필요 없으며, 다양한 이미지 생성 모델과 비전-언어 모델에 유연하게 적용될 수 있습니다. 실험적으로, 우리는 다양한 벤치마크에서 이미지 생성 성능이 꾸준히 향상되는 것을 확인했습니다. 구체적으로, ConceptMix (k=7)에서 모든 항목을 정확하게 생성하는 비율이 16.9% 향상되었고, T2I-CompBench (3D-Spatial 카테고리)에서 13.8%, Visual Jenga 장면 분해에서 12.5% 향상되었습니다. 정량적인 개선 외에도, 반복적인 개선은 복잡한 프롬프트를 순차적인 수정으로 분해하여 더욱 정확한 결과를 생성하며, 인간 평가자들은 58.7%의 경우 병렬 방식보다 우리의 방법을 선호했습니다. 이러한 결과들은 반복적인 자기 수정이 합성 이미지 생성을 위한 광범위하게 적용 가능한 원칙임을 보여줍니다. 결과 및 시각화 자료는 https://iterative-img-gen.github.io/ 에서 확인할 수 있습니다.

Text-to-image (T2I) models have achieved remarkable progress, yet they continue to struggle with complex prompts that require simultaneously handling multiple objects, relations, and attributes. Existing inference-time strategies, such as parallel sampling with verifiers or simply increasing denoising steps, can improve prompt alignment but remain inadequate for richly compositional settings where many constraints must be satisfied. Inspired by the success of chain-of-thought reasoning in large language models, we propose an iterative test-time strategy in which a T2I model progressively refines its generations across multiple steps, guided by feedback from a vision-language model as the critic in the loop. Our approach is simple, requires no external tools or priors, and can be flexibly applied to a wide range of image generators and vision-language models. Empirically, we demonstrate consistent gains on image generation across benchmarks: a 16.9% improvement in all-correct rate on ConceptMix (k=7), a 13.8% improvement on T2I-CompBench (3D-Spatial category) and a 12.5% improvement on Visual Jenga scene decomposition compared to compute-matched parallel sampling. Beyond quantitative gains, iterative refinement produces more faithful generations by decomposing complex prompts into sequential corrections, with human evaluators preferring our method 58.7% of the time over 41.3% for the parallel baseline. Together, these findings highlight iterative self-correction as a broadly applicable principle for compositional image generation. Results and visualizations are available at https://iterative-img-gen.github.io/