협업 및 효율적인 미세 조정: 작업 유사성 활용

Collaborative and Efficient Fine-tuning: Leveraging Task Similarity

기반 모델에서 적응성은 핵심적인 특징으로 여겨지며, 이를 통해 모델은 새로운 downstream 작업에 효과적으로 적응할 수 있습니다. LoRA와 같은 파라미터 효율적인 미세 조정 방법은 제한된 양의 고품질 작업 데이터를 사용하여 대규모 기반 모델을 효율적으로 적응시키는 데 기여합니다. 본 연구에서는 기반 모델 미세 조정 시 데이터 부족 문제를 완화하기 위해, 여러 downstream 사용자 간의 작업 유사성을 활용하는 방법을 제안합니다. 직관적으로, 유사한 작업을 수행하는 사용자들은 서로에게 도움이 되어 효과적인 미세 조정 데이터의 크기를 늘릴 수 있습니다. 우리는 작업 유사성을 활용하여 개인화된 기반 모델을 협업적이고 효율적으로 미세 조정하는 방법인 Collaborative Low-Rank Adaptation (CoLoRA)을 제안합니다. CoLoRA의 핵심 아이디어는 모든 작업에 걸쳐 잠재적인 작업 유사성을 포착하는 공유 어댑터를 훈련하고, 사용자별 작업에 맞게 조정된 개인화된 어댑터를 훈련하는 것입니다. 우리는 CoLoRA를 이질적인 선형 회귀 문제에 대해 이론적으로 분석하고, 실제 값 복구에 대한 증명 가능한 보장을 제공합니다. 또한, 다양한 작업 유사성을 가진 자연어 실험을 수행하여, 유사한 작업과 함께 훈련할 때 개별 모델의 성능이 크게 향상됨을 보여줍니다.

Adaptability has been regarded as a central feature in the foundation models, enabling them to effectively acclimate to unseen downstream tasks. Parameter-efficient fine-tuning methods such as celebrated LoRA facilitate efficient adaptation of large foundation models using labeled, high-quality and generally scarce task data. To mitigate data scarcity in fine-tuning of foundation models, we propose to leverage task similarity across multiple downstream users. Intuitively, users with similar tasks must be able to assist each other in boosting the effective fine-tuning data size. We propose Collaborative Low-Rank Adaptation, or CoLoRA, which exploits task similarity to collaboratively and efficiently fine-tune personalized foundation models. The main idea in CoLoRA is to train one shared adapter capturing underlying task similarities across all tasks, and personalized adapters tailored to user-specific tasks. We theoretically study CoLoRA on heterogeneous linear regression and provide provable guarantees for ground truth recovery. We also conduct several natural language experiments with varying task similarity, which further demonstrate that when trained together with similar tasks, individual performances are significantly boosted.