ARIADNE: 추론 시 어댑터 동적 선택을 위한 어댑터 독립적인 라우팅

Semantic Adapter Routing with Fine-Tuning Task Embeddings

매개변수 효율적인 미세 조정(PEFT) 기술의 확산으로 인해, 단일 기본 모델에 다양한 작업 특화 어댑터가 결합된 모델 생태계가 등장했습니다. 이러한 환경에서, 추론 시 입력 쿼리가 종종 작업 레이블 없이 도착하며, 시스템은 증가하고 이질적인 어댑터 풀에서 가장 적합한 어댑터를 자동으로 선택해야 합니다. 기존 라우팅 방법들은 어댑터 내부 정보(예: 가중치 분해 또는 기울기 기반 통계)에 의존하거나, 추가적인 라우터 학습을 요구하며, 이는 새로운 어댑터가 추가될 때 확장성과 이식성을 제한합니다. 본 논문에서는 훈련 과정이 필요 없으며, 어댑터에 독립적인 라우팅 프레임워크인 ARIADNE를 제안합니다. ARIADNE는 각 어댑터를 해당 어댑터의 학습 데이터셋 임베딩으로부터 계산된 중심점들의 집합으로 표현하며, 이를 통해 어댑터와 관련된 데이터 분포를 파악합니다. 레이블이 없는 입력에 대해, ARIADNE는 잠재 공간에서 이러한 중심점과의 거리를 측정하여 가장 적합한 어댑터를 선택합니다. 라우팅은 입력 임베딩 공간 내에서만 수행되므로, ARIADNE는 모든 PEFT 방법과 호환되며, 어댑터나 학습 절차에 대한 수정이 필요하지 않습니다. Llama 3.2 1B Instruct 모델을 사용하여 23가지 다양한 자연어 처리 작업(NLP)에 대해 ARIADNE를 평가한 결과, 최고 성능의 97.44%를 달성했습니다. 44가지 작업으로 확장했을 때, 추가적인 학습이나 어댑터 내부 정보 접근 없이 평균 선택 정확도 89.7%를 달성했습니다.

Parameter-efficient fine-tuning (PEFT) has led to model ecosystems in which a single backbone is paired with many task-specialized adapters. Given such a library, routing aims to select the most appropriate adapter for a user query. While existing adapter routers typically require access to adapter weights or supervised training, we develop training-free semantic adapter routing methods using task embeddings. In ARIADNE, we reframe adapter selection as a classification problem, where PEFT adapters are represented by task embeddings and an unlabeled query is routed to the nearest adapter in the encoder's latent space. Evaluated on 23 tasks, ARIADNE recovers 97.4% of Oracle task performance and scales to 44 adapters at 89.7% selection accuracy, without touching a single adapter parameter. However, training data needed for ARIADNE may not be available when adapters come from public hubs or third-party providers. To overcome this limitation, we introduce GRACE, which recovers an adapter's fine-tuning data from its output logits alone via a modified contrastive decoding diffing (CDD) procedure. Synthetic data generated from CDD-UM is then used to construct task embeddings. Across three backbones (Llama-3.2-1B, Qwen2.5-3B, Qwen2.5-32B), GRACE recovers 72--100\% of Oracle task accuracy and matches or exceeds ARROW on 48 of 69 task/backbone combinations, while requiring neither training data nor model weights. Overall, we demonstrate that fine-tuning task embeddings provide an accurate and efficient path to semantic adapter routing.