의미와 왜곡 분리: AI 생성 이미지 품질 평가를 위한 다중 스케일 양방향 시각-언어 정렬

Decoupling Semantics from Distortions: Multi-Scale Two-Stream Vision-Language Alignment for AI-Generated Image Quality Assessment

기존의 비전-언어 모델(VLM) 기반 AI 생성 이미지 품질 평가(AIGIQA) 방법은 근본적인 의미-왜곡 차원 간 충돌 문제를 겪습니다. 단일화된 표현 방식은 의미 구별을 위해 최적화되지만, 동시에 저수준의 인지 민감성과 조화로운 이해를 요구하여 미세한 품질 저하를 감지하는 데 어려움을 겪습니다. 본 연구에서는 다중 스케일 양방향 시각-언어 정렬을 통해 계층적인 표현 분리를 달성하는 MST-CLIPIQA라는 프레임워크를 제안합니다. 우리의 아키텍처는 상호 보완적인 패치 세분성을 갖춘 이중 CLIP 인코더를 활용합니다. 거친 스케일의 스트림은 전체적인 의미 일관성을 포착하고, 미세한 스케일의 스트림은 텍스처 특징과 결함 패턴을 유지합니다. 정보 병목 현상을 모방한 게이트된 융합 메커니즘은 적응적 크로스-스케일 증류를 수행하며, 생성 프롬프트가 제공될 경우 교차 어텐션을 통해 프롬프트를 기준으로 한 대응 관계 평가를 가능하게 합니다. 다섯 가지 벤치마크에 대한 광범위한 실험 결과, 평균적으로 품질 평가에서 1.11%의 SRCC 향상, 그리고 텍스트-이미지 대응 예측에서 2.35%의 SRCC 향상을 달성하여 새로운 최고 성능을 기록했습니다. 또한, 학습 가능한 파라미터 수가 0.8M으로 효율성을 유지합니다. 본 프로젝트는 https://github.com/YMlinfeng/MST-CLIPIQA 에서 확인할 수 있습니다.

Existing vision-language model (VLM)-based AI-generated image quality assessment (AIGIQA) methods suffer from a fundamental semantic-distortion dimensional conflict: monolithic representations optimized for semantic discrimination inherently entangle compositional understanding with low-level perceptual sensitivity, rendering them blind to fine-grained quality degradations. We introduce MST-CLIPIQA, a multi-scale two-stream framework that achieves hierarchical vision-language alignment through explicit representational decoupling. Our architecture leverages dual CLIP encoders with complementary patch granularities: coarse-grained streams capture global semantic coherence while fine-grained streams preserve textural signatures and artifact patterns. An information bottleneck-inspired gated fusion mechanism performs adaptive cross-scale distillation, with optional cross-attention enabling prompt-anchored correspondence evaluation when generation prompts are available. Extensive experiments across five benchmarks establish new state-of-the-art results, achieving average improvements of 1.11 percent SRCC on quality and 2.35 percent SRCC on text-image correspondence prediction, while maintaining efficiency with only 0.8M trainable parameters. Our project is available at https://github.com/YMlinfeng/MST-CLIPIQA.