스펙트럴 서저리: 기울기 기반 고유값 재가중치를 통한 LoRA의 학습 불필요한 정교화

Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting

로우-랭크 어댑테이션(LoRA)은 작업 업데이트를 낮은 랭크의 파라미터 부분 공간으로 제한하여 다운스트림 성능을 향상시키지만, 학습된 어댑터 내에서 이러한 제한된 용량이 어떻게 할당되는지는 명확하지 않습니다. 여러 작업과 백본에 대한 기하학적 및 경험적 연구를 통해, 학습된 LoRA 업데이트는 종종 비효율적인 스펙트럼을 나타냅니다. 작업 효과는 작은 부분집합의 고유 방향에 집중되는 반면, 많은 나머지 구성 요소는 중립적이거나 해로운 경향이 있습니다. 이러한 점을 고려하여, 우리는 학습된 부분 공간 내에서 사후 정교화를 수행하는 '스펙트럴 서저리'라는 방법을 제안합니다. 스펙트럴 서저리는 SVD를 사용하여 LoRA 업데이트를 분해하고, 작은 교정 데이터 세트에 대한 기울기를 사용하여 각 구성 요소의 민감도를 추정하며, 학습된 방향을 고정한 상태에서 크기 제약을 통해 고유값을 재가중치합니다. Llama-3.1-8B 및 Qwen3-8B 모델을 사용하여 네 가지 벤치마크에서 실험한 결과, 스펙트럴 서저리는 약 1,000개의 스칼라 계수를 조정하는 것만으로 일관된 성능 향상(CommonsenseQA에서 최대 +4.4점, HumanEval에서 최대 +2.4 pass@1)을 달성했습니다. 이러한 결과는 SVD 구조를 갖는 저렴한 파라미터 편집이 학습된 LoRA 어댑터를 순수하게 사후 방식으로 개선하는 실용적인 방법이 될 수 있음을 보여줍니다.

Low-Rank Adaptation (LoRA) improves downstream performance by restricting task updates to a low-rank parameter subspace, yet how this limited capacity is allocated within a trained adapter remains unclear. Through a geometric and empirical study across multiple tasks and backbones, we find that trained LoRA updates often exhibit an inefficient spectrum: task effects concentrate in a small subset of singular directions, while many remaining components are neutral or detrimental, motivating post-hoc refinement within the learned subspace. We propose Spectral Surgery, a training-free refinement that decomposes a LoRA update with SVD, estimates per-component sensitivity using gradients on a small calibration set, and reweights singular values under a magnitude constraint while keeping the learned directions fixed. Across Llama-3.1-8B and Qwen3-8B on four benchmarks, Spectral Surgery yields consistent gains (up to +4.4 points on CommonsenseQA and +2.4 pass@1 on HumanEval) by adjusting only $\approx 1{,}000$ scalar coefficients. These results demonstrate that SVD-structured, low-cost parameter editing can serve as a practical route to improving trained LoRA adapters in a purely post-hoc manner.