1%>100%: 복잡한 선형 투영 최적화를 통한 고효율 시각 어댑터

1%>100%: High-Efficiency Visual Adapter with Complex Linear Projection Optimization

시각 기반 모델을 활용하는 데는 효율적인 적응 전략이 필수적이며, 기존의 전체 파인튜닝 방식은 높은 비용과 낮은 효율성을 초래합니다. 델타 튜닝은 LLM의 성능과 효율성을 향상시키는 데 효과적임이 입증되었지만, 이러한 장점을 시각 기반 모델의 파인튜닝 과정에 직접적으로 적용하기는 어렵습니다. 본 연구에서는 시각 작업의 적응 효율성을 극대화하기 위해 복잡한 선형 투영 최적화(CoLin) 어댑터를 제안합니다. CoLin은 새로운 저랭크 복합 어댑터 아키텍처를 사용하여 백본 모델의 약 1%에 해당하는 파라미터만 추가합니다. 또한, 이론적으로 저랭크 복합 행렬이 학습 과정에서 심각한 수렴 문제를 야기한다는 것을 증명하고, 이를 해결하기 위한 맞춤형 손실 함수를 사용합니다. 객체 탐지, 분할, 이미지 분류, 회전 객체 탐지(원격 감지 시나리오)에 대한 광범위한 실험 결과, CoLin은 전체 파인튜닝 및 기존 델타 튜닝 방식보다 우수한 성능을 보이면서도 전체 파라미터의 1%만을 사용하여 시각 기반 모델 배포를 위한 혁신적이고 효율적인 솔루션을 제공합니다. 코드는 https://github.com/DongshuoYin/CoLin 에서 확인할 수 있습니다.

Deploying vision foundation models typically relies on efficient adaptation strategies, whereas conventional full fine-tuning suffers from prohibitive costs and low efficiency. While delta-tuning has proven effective in boosting the performance and efficiency of LLMs during adaptation, its advantages cannot be directly transferred to the fine-tuning pipeline of vision foundation models. To push the boundaries of adaptation efficiency for vision tasks, we propose an adapter with Complex Linear Projection Optimization (CoLin). For architecture, we design a novel low-rank complex adapter that introduces only about 1% parameters to the backbone. For efficiency, we theoretically prove that low-rank composite matrices suffer from severe convergence issues during training, and address this challenge with a tailored loss. Extensive experiments on object detection, segmentation, image classification, and rotated object detection (remote sensing scenario) demonstrate that CoLin outperforms both full fine-tuning and classical delta-tuning approaches with merely 1% parameters for the first time, providing a novel and efficient solution for deployment of vision foundation models. We release the code on https://github.com/DongshuoYin/CoLin.