텍스트-이미지 모델은 올바른 참조 프레임을 기반으로 이미지를 생성할 수 있는가?

Can Text-to-Image Models Draw from the Right Frame of Reference?

텍스트-이미지(T2I) 생성에서 공간적 지시 사항을 따르는 것은 매우 중요한 요소가 되었습니다. 하지만, 방향성 표현이 서로 다른 참조 프레임 하에서 해석될 때 문제가 발생합니다. 예를 들어, "왼쪽"이라는 표현은 관찰자의 이미지 좌표를 의미할 수도 있고, 객체의 고유한 방향성을 의미할 수도 있으며, 이는 결과적으로 다른 레이아웃을 초래할 수 있습니다. 기존의 T2I 벤치마크는 중요한 레이아웃 오류를 보여주지만, 모델이 카메라 시점과 다른 특정 참조 프레임을 따르는 능력을 평가하는 경우는 드뭅니다. 이러한 격차를 해소하기 위해, 우리는 1,200개의 정교하게 구성된 공간적 레이아웃을 기반으로 한 프롬프트 쌍으로 구성된 FoR-T2I라는 벤치마크를 소개합니다. 각 쌍에서 카메라 시점(Cam) 프롬프트는 목표 관계를 카메라 시점에서 명시하고, 참조 프레임(FoR) 프롬프트는 동일한 목표 배치를 방향성이 있는 기준 객체를 사용하여 설명합니다. 22개의 비공개 및 공개 T2I 모델을 대상으로 평가한 결과, FoR 프롬프트에 대한 평균 정확도는 일치하는 Cam 프롬프트보다 41.8% 낮았습니다. 가장 성능이 좋은 모델조차도 44.3%의 FoR 정확도를 기록했을 뿐입니다. 이는 현재 모델들이 이미지 좌표 대신 객체의 방향성을 통해 동일한 레이아웃이 설명될 때 더 큰 어려움을 겪는다는 것을 시사합니다. 우리는 이러한 격차를 관계 유형 및 카메라 시점에 따라 추가적으로 분석하고, 학습 없이 적용 가능한 프롬프트 전략과 피드백 기반의 완화 전략을 비교하며, 시각적 피드백을 사용하여 재작성된 프롬프트를 선택하는 VLM-gated rewriting 접근 방식을 제안합니다. 이 접근 방식은 동일한 생성 예산을 사용하면서 평균 FoR 정확도를 25.0%에서 29.2%로 향상시켰습니다.

Spatial instruction following has become a crucial requirement for text-to-image (T2I) generation. A common challenge arises when directional expressions are interpreted under different frames of reference. For example, ``the left of'' may refer to the viewer's image coordinates or to the intrinsic orientation of an object, leading to different expected layouts. Existing T2I benchmarks reveal important layout failures, yet they rarely isolate whether models can follow a specified frame of reference when it differs from camera view. To mitigate this gap, we introduce FoR-T2I, a benchmark for evaluating this distinction with 1,200 prompt pairs built from controlled spatial layouts. In each pair, the camera-view (Cam) prompt states the target relation in camera view, while the frame-of-reference (FoR) prompt describes the same target placement through an oriented anchor object. Across 22 closed-source and open-source T2I models, mean final accuracy is 41.8\% lower on FoR prompts than on matched Cam prompts; even the best-performing model achieves only 44.3\% FoR accuracy. This suggests that current models struggle more when the same layout is described through an object's orientation rather than directly in image coordinates. We further analyze this gap by relation type and camera view, compare several training-free prompting and feedback-based mitigation strategies, and propose a VLM-gated rewriting approach that selects rewritten prompts using visual feedback, improving average FoR accuracy from 25.0\% to 29.2\% under the same generation budget.