구조 보존 효과: 시공간-의미론적 초기 종료 방식이 CLIP 모델에서의 양자화 손실을 극복한다

The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP

시각-언어 모델을 자원 제약적인 환경에서 사용하는 경우, 일반적으로 INT8 양자화를 수행하지만, CLIP과 같은 공동 임베딩 아키텍처에서는 양자화된 CNN 분류기와는 다른 형태의 오류가 발생합니다. 즉, 트랜스포머 블록 전체에 걸쳐 누적되는 활성화 노이즈는 다중 모드 임베딩 방향을 교란시켜, 제로샷 검색의 기반이 되는 코사인 정렬을 저하시킵니다. 우리는 이러한 현상을 '양자화 유도 표현 붕괴 (Quantization-Induced Representation Collapse, QIRC)'라고 정의하고, INT8 양자화를 적용한 CLIP ViT-B/32 모델에서 이 현상을 정량적으로 분석했습니다. 그 결과, 레이어별 노이즈-신호 비율은 초기 레이어에서는 10% 미만에서 시작하여 11번째 레이어에서 52%에 도달하는 것을 확인했습니다. 우리는 'LRA-EE (Layer-wise Representation-Aware Early Exit)'라는 새로운 방법을 제안합니다. LRA-EE는 시공간-의미론적 집계 (얕은 [CLS] 토큰을 전역 패치-토큰 평균으로 대체), 학습된 다중 특징 게이트 (신뢰도, 상위 2개 항목 마진, 공간-활성화 분산), 그리고 각 레이어의 정보-노이즈 비율에 맞춰 조정된 레이어 적응형 신뢰도 임계값을 사용하여 노이즈가 심한 깊은 레이어를 우회합니다. ImageNet-1K 제로샷 분류 작업에서 LRA-EE는 FLOPs를 13.4% 줄이고, Top-1 정확도를 INT8 기준 모델 대비 +2.44%p 향상시켰습니다 (58.72% -> 61.16%). 네 개의 사분면으로 분해한 결과, 초기 단계에서 올바르게 분류되지만 깊은 레이어에서 노이즈로 인해 오분류되는 샘플이 9.5%인 반면, 그 반대의 경우는 7.1%에 불과하다는 것을 확인했습니다.

Deploying Vision-Language Models on resource-constrained hardware typically requires INT8 quantization, but in joint-embedding architectures such as CLIP this introduces a failure mode distinct from quantized CNN classifiers: activation noise accumulated across transformer blocks perturbs the direction of the multimodal embedding, eroding the cosine alignment on which zero-shot retrieval depends. We characterize this as Quantization-Induced Representation Collapse (QIRC) and quantify it on INT8 CLIP ViT-B/32, where the layer-wise noise-to-signal ratio grows from below 10% in shallow blocks to 52% at Layer 11. We propose LRA-EE (Layer-wise Representation-Aware Early Exit), which bypasses noise-saturated deep layers via Spatio-Semantic Aggregation (replacing the immature shallow [CLS] with a global patch-token average), a learned multi-feature gate (confidence, top-2 margin, spatial-activation variance), and Layer-adaptive Confidence Thresholding calibrated to each layer's Information-to-Noise Ratio. On ImageNet-1K zero-shot classification, LRA-EE reduces FLOPs by 13.4% and improves Top-1 accuracy by +2.44%p (58.72% -> 61.16%) over the INT8 baseline. A four-quadrant decomposition isolates the Rescue Effect: 9.5% of samples are correctly classified at shallow exits but lost to noise at full depth, against only 7.1% suffering the inverse.