텍스트-이미지 확산 모델의 안전 정렬에서 높은 유용성의 착시 현상

The Illusion of High Utility in Safety Alignment of Text-to-Image Diffusion Models

텍스트-이미지(T2I) 확산 모델의 안전 정렬은 유해한 이미지 생성을 억제하면서 동시에 무해한 프롬프트에 대한 유용성을 유지하는 것을 목표로 합니다. 최근 연구에서는 높은 안전성과 높은 유용성을 모두 제공하는 방법들이 제시되었지만, 이러한 결론은 주로 FID나 CLIPScore와 같이 세밀한 의미 정확도를 고려하지 않는 전반적인 유용성 지표에 의존하며, 이는 높은 유용성의 착시를 불러일으킵니다. 본 연구에서는 구조화된 평가 방법을 사용하여 유용성을 측정했을 때, 이러한 착시는 깨지는 것을 보여줍니다. TIFA(Text-to-Image Faithfulness evaluation with Question Answering)라는 평가 방법을 사용한 결과, 안전 정렬 모델은 객체 수, 속성 및 관계 등 의미 정확도 측면에서 상당한 성능 저하를 보입니다. 이러한 격차의 원인을 분석하기 위해 텍스트 인코더의 프롬프트 임베딩 공간을 조사한 결과, 의미적 붕괴(embedding spread의 축소와 함께 프롬프트 간 유사성 구조의 왜곡) 현상이 나타나는 것을 확인했으며, 이는 구조화된 유용성 손실과 밀접하게 관련되어 있습니다. 이러한 분석 결과를 바탕으로, 본 연구에서는 임베딩 분포 및 프롬프트 간 관계 구조를 명시적으로 유지하는 안전 정렬 목표 함수인 StructureAware Geometric Regularization (SAGE)를 제안합니다. SAGE는 기존 최고 성능 모델 대비 TIFA 점수가 5.0% 향상된 구조화된 유용성을 복원하면서도, 강력한 안전 성능과 경쟁력 있는 전반적인 유용성 지표를 유지합니다. 본 연구의 소스 코드 및 학습된 모델은 https://adeelyousaf.github.io/SAGE_ECCV26_Project_Page/ 에서 확인할 수 있습니다.

Safety alignment of text-to-image (T2I) diffusion models aims to suppress harmful generations while preserving utility on benign prompts. Recent methods often appear to deliver high safety with high utility, but this conclusion rests largely on coarse global utility metrics (e.g., FID, CLIPScore) that are insensitive to fine-grained semantic correctness, creating an illusion of high utility. We show that when utility is measured with structured evaluation, this illusion breaks: on TIFA (Text-to-Image Faithfulness evaluation with Question Answering), safety-aligned models suffer substantial drops in semantic fidelity, including failures in object counts, attributes, and relationships. To diagnose the source of this gap, we analyze the text-encoder prompt embedding space and uncover semantic collapse, a contraction of embedding spread coupled with distortion of inter-prompt similarity structure, which strongly correlates with structured utility loss. Guided by this insight, we propose StructureAware Geometric Regularization (SAGE), a safety alignment objective that explicitly preserves embedding spread and inter-prompt relational structure during adaptation. Our method restores structured utility (TIFA +5.0% over prior state-of-the-art) while maintaining strong safety performance and competitive coarse-grained utility scores. Our source code and trained models are available at https://adeelyousaf.github.io/SAGE_ECCV26_Project_Page/.