교차 모드 미세 조정에 대한 재고: 특징 정렬과 목표 적합 사이의 상호 작용 최적화

Rethinking Cross-Modal Fine-Tuning: Optimizing the Interaction between Feature Alignment and Target Fitting

서로 다른 분야의 지식 통합에 대한 요구가 증가함에 따라, 사전 훈련된 모델을 새로운 특징 모달리티에 적용하는 것이 점점 더 중요해지고 있습니다. 핵심적인 과제는 새로운 모달리티의 표현을 사전 훈련된 모델의 표현 공간에서 가장 관련 있는 부분과 일치시키는 방법으로, 정확한 지식 전달을 가능하게 하는 것입니다. 이는 특징 정렬과 목표 미세 조정을 결합해야 하지만, 제대로 조정되지 않은 조합은 소스 및 대상 특징-레이블 구조 사이의 불일치를 악화시키고 대상 일반화 성능을 저하시킬 수 있습니다. 그러나 기존 연구에서는 이러한 특징 정렬과 목표 적합 사이의 중요한 상호 작용에 대한 이론적인 이해가 부족합니다. 이러한 격차를 해소하기 위해, 우리는 대상 오류에 대한 증명 가능한 일반화 경계를 설정하는 원칙적인 프레임워크를 개발했습니다. 이 프레임워크는 특징-레이블 왜곡이라는 새로운 개념을 통해 특징 정렬과 목표 적합 사이의 상호 작용을 설명합니다. 이러한 경계는 실제 알고리즘 설계에 대한 실질적인 통찰력을 제공합니다. 결과적으로, 개발된 방법은 다양한 벤치마크 데이터 세트에서 최첨단 방법보다 훨씬 뛰어난 성능을 달성했습니다.

Adapting pre-trained models to unseen feature modalities has become increasingly important due to the growing need for cross-disciplinary knowledge integration. A key challenge here is how to align the representation of new modalities with the most relevant parts of the pre-trained model's representation space to enable accurate knowledge transfer. This requires combining feature alignment with target fine-tuning, but uncalibrated combinations can exacerbate misalignment between the source and target feature-label structures and reduce target generalization. Existing work, however, lacks a theoretical understanding of this critical interaction between feature alignment and target fitting. To bridge this gap, we develop a principled framework that establishes a provable generalization bound on the target error, which explains the interaction between feature alignment and target fitting through a novel concept of feature-label distortion. This bound offers actionable insights into how this interaction should be optimized for practical algorithm design. The resulting approach achieves significantly improved performance over state-of-the-art methods across a wide range of benchmark datasets.