프롬프트 학습을 활용한 모델 병합의 전문가 교육 재고

Rethinking Expert Training for Model Merging with Prompt Learning

모델 병합은 공유된 기반 모델에서 학습된 여러 도메인 전문 지식을 단일 다중 작업 모델로 결합하는 것을 목표로 합니다. 기존 연구는 주로 병합 절차 자체를 개선하는 데 초점을 맞추며, 일반적으로 전체 파라미터 미세 조정을 통해 얻은 전문가를 가정합니다. 본 연구에서는 모델 병합을 위한 전문가 교육 방식을 재검토합니다. 먼저 프롬프트 기반 적응이 강력한 기본 성능을 제공한다는 것을 보여줍니다. 독립적으로 학습된 프롬프트를 여러 작업에 활용하면서 백본 모델을 고정하여 가중치 병합으로 인해 발생하는 간섭을 피할 수 있습니다. 이러한 관찰을 바탕으로, 본 연구에서는 먼저 프롬프트를 학습하고 그 다음 시각 인코더를 미세 조정하는 두 단계의 학습 전략인 Dual-Tuned Experts (DTEs)를 제안합니다. 이를 통해 작업별 파라미터 업데이트의 크기를 줄이고 병합 호환성이 더 높은 전문가를 생성할 수 있습니다. 다양한 CLIP 아키텍처, 전체 미세 조정 및 LoRA 전문가를 사용한 실험 결과, DTE는 기존 병합 방식의 성능을 꾸준히 향상시키며, 이기종 집단의 전문가를 결합하는 경우에도 효과적임을 확인했습니다.

Model merging aims to combine multiple domain-specialized experts trained from a shared foundation model into a single multi-task model. Existing approaches largely focus on improving the merging procedure itself and typically assume experts obtained through full-parameter fine-tuning. In this work, we revisit expert training for model merging. We first show that prompt-based adaptation provides a strong baseline: independently learned prompts can be exploited across tasks while keeping the backbone fixed, avoiding the interference introduced by weight merging. Building on this observation, we introduce Dual-Tuned Experts (DTEs), a two-stage training strategy that first learns prompts and then fine-tunes the vision encoder. This reduces the magnitude of task-specific parameter updates and produces experts with higher merge compatibility. Experiments across multiple CLIP architectures, full fine-tuning, and LoRA experts show that DTEs consistently improve merged performance of standard merging approaches and remain effective even when combining heterogeneous sets of experts.