TRACER: 강력한 다중 모드 미세 조정(Finetuning)을 위한 지속적인 정규화

TRACER: Persistent Regularization for Robust Multimodal Finetuning

사전 학습된 다중 모드 모델의 미세 조정에 사용되는 일반적인 전략은 종종 분산 데이터(OOD, Out-of-Distribution)에 대한 강건성을 저하시키는 현상인 '파국적 망각(catastrophic forgetting)'을 유발합니다. 본 논문에서는 다중 모드 대비 학습의 이론적 프레임워크를 개발하여 각 전략에 대한 닫힌 형식의 해와 기하학적 분해를 제시합니다. 이 프레임워크는 자기 증류(self-distillation)가 사전 학습 모델의 지식을 유지하는 데 다른 정규화 방법보다 효과적임을 보여줍니다. 우리의 분석 결과, 강력한 미세 조정에 널리 사용되는 표준 지수 이동 평균(EMA, Exponential Moving Average) 기반 '선생님' 모델이 '붕괴(collapse)' 현상을 겪는다는 간과된 한계점이 있음을 밝혀냈습니다. 이를 해결하기 위해, 가중 이동 평균(WMA, Weighted Moving Average) 기반 '선생님' 모델은 유한한 시간 범위 내에서 지속적인 정규화력을 유지하며, 작업 공간(task subspace)에서 편향 없는 수렴을 달성하고 동시에 직교 지식을 보존한다는 것을 증명합니다. 이러한 통찰력은 **TRACER** (**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization)의 개발 동기가 되었습니다. TRACER는 대비 학습과 WMA 기반 다각적 증류를 결합합니다. CLIP 미세 조정에 대한 광범위한 실험 결과, 세 가지 주요 구조(backbone architecture)에서 일관된 OOD 정확도와 교정(calibration) 향상을 보였으며, 포괄적인 분석을 통해 TRACER가 원칙적으로 견고하며 하이퍼파라미터 선택에 강건함을 확인했습니다. 코드: [https://github.com/HesamAsad/TRACER](https://github.com/HesamAsad/TRACER)

Mainstream strategies for finetuning pretrained multimodal models often degrade out-of-distribution (OOD) robustness, a phenomenon known as catastrophic forgetting. In this paper, we develop a theoretical framework for multimodal contrastive finetuning, yielding closed-form solutions and a geometric decomposition for each strategy. This framework shows that self-distillation is more effective than other regularization approaches to retain the knowledge of the pretrained model. Our analysis reveals a largely overlooked limitation: standard Exponential Moving Average (EMA) teachers, widely used in robust finetuning, suffer from collapse. To solve this, we prove that a Weighted Moving Average (WMA) teacher maintains a persistent regularizing force over finite horizons and yields bias-free convergence in the task subspace while preserving orthogonal knowledge. These insights motivate **TRACER** (**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization), which combines contrastive learning with WMA-guided multi-perspective distillation. Extensive experiments on CLIP finetuning demonstrate consistent OOD accuracy and calibration gains across three backbone architectures, and comprehensive ablations confirm that TRACER is both principled and robust to hyperparameter choices. Code is available at [https://github.com/HesamAsad/TRACER](https://github.com/HesamAsad/TRACER).