한 번 로드, 필요할 때 교체: 하위 공간 정렬 중심점 잔차 학습을 통한 효율적인 초소규모 LoRA 서비스

Pin Once, Swap Light: Subspace-Aligned Centroid-Residual Training for Efficient Ultra-LoRA Serving

최신 멀티 테넌트 Low-Rank Adapters (LoRA) 서비스 시스템은 수십에서 수백 개의 LoRA 어댑터를 동시에 호스팅합니다. 강력하지만, 이는 서비스 효율성과 작업 성능 간의 중요한 시스템적 딜레마를 야기합니다. 일반적으로 고랭크 어댑터가 더 나은 하위 작업 성능을 달성하지만, GPU VRAM 사용량과 호스트-장치 PCIe 스와핑 오버헤드가 확장성을 심각하게 제한합니다. 반대로, 초저랭크 어댑터 (r ≤ 2)는 VRAM 사용량과 PCIe 전송 오버헤드를 최소화하지만, 하위 작업 성능 저하를 겪습니다. 이 문제를 해결하기 위해, 서비스 효율성을 고려한 계층적 미세 조정 프레임워크인 Subspace-Aligned LoRA Training (SALT)을 제안합니다. 우리의 솔루션은 세 단계로 작동합니다. 첫째, 제공자는 새로운 정렬 규제기를 사용하여 공개 데이터를 기반으로 고용량 도메인 중심점을 함께 학습하고, 이를 통해 해당 도메인의 하위 작업 공간을 통합된 기본 형태로 만듭니다. 둘째, 사용자는 개인 데이터를 활용하여 이러한 동결된 중심점 위에 초저랭크 작업 잔차 어댑터를 미세 조정합니다. 마지막으로, 추론 과정에서 제공자는 중심점을 GPU VRAM에 고정하고, 각 사용자의 작업 잔차를 필요에 따라 동적으로 교체합니다. 다양한 크기의 LLM을 대상으로 실험한 결과, SALT는 r ≤ 2의 초저랭크 잔차만을 사용하여 고랭크 정확도를 회복했으며, 최첨단 압축 모델 대비 최대 18.5%의 절대적인 정확도 향상을 달성하고 어댑터당 메모리 사용량을 최대 16배까지 줄였습니다. vLLM에 통합된 SALT는 PCIe 대역폭 제한 조건에서 최대 51%, GPU VRAM 제약 조건에서는 Llama-3.2-3B 모델의 서비스 처리량 (throughput)을 각각 최대 28% 향상시켰습니다.

Modern multi-tenant Low-Rank Adapters (LoRAs) serving systems concurrently host tens to hundreds of LoRA adapters. Though powerful, this introduces a critical system dilemma between serving efficiency and task performance: higher-rank adapters generally achieve better downstream task performance, but their GPU VRAM footprint and Host-to-Device PCIe swapping overhead severely constrain scalability. Conversely, ultra-low-rank adapters ($r \le 2$) minimize both VRAM footprint and PCIe transfer overhead, but suffer from downstream task performance degradation. To solve this problem, we propose Subspace-Aligned LoRA Training (SALT), a serving efficiency-aware hierarchical fine-tuning framework. Our solution operates in three phases. First, a provider jointly trains high-capacity domain centroids on public data within the domain using a novel alignment regularizer that coheres in-domain task subspaces into a unified basis. Next, users fine-tune ultra-low-rank task residual adapters on private data atop those frozen centroids. Finally, during inference, the provider pins the centroid in GPU VRAM and dynamically swaps in each user's task residual on demand. Across LLMs of varying scales, SALT recovers high-rank accuracy using $r \le 2$ residuals, achieving up to 18.5% absolute accuracy gains over state-of-the-art compression baselines and reducing per-adapter memory by up to 16x. When integrated into vLLM, SALT improves serving throughput by up to 51% under PCIe bandwidth pressure and 28% under GPU VRAM constraints for Llama-3.2-3B.