LoRA 최적화에서 스케일링 계수의 숨겨진 힘

The Hidden Power of Scaling Factor in LoRA Optimization

저랭크 적응(LoRA) 방법에서 스케일링 계수 α는 종종 학습률의 보조적인 요소로 취급되지만, 그 역할에 대한 이해는 부족합니다. 본 논문에서는 스케일링 계수 α와 학습률이 서로 다른 방식으로 작용하며, α가 효과적인 최적화를 주도하는 주요 요인임을 밝힙니다. α는 학습률 스케일링만으로는 달성할 수 없는 성능 향상을 제공합니다. 광범위한 실험 분석과 이론적인 신호-드리프트(Signal-Drift) 프레임워크를 통해 LoRA의 스케일링 메커니즘에 대한 세 가지 주요 결과를 도출했습니다. 첫째, LoRA의 스펙트럼 억제는 최적화 환경을 부드럽게 만들어 표준 하이퍼파라미터를 지나치게 보수적으로 설정하게 만들고 최적화 격차를 발생시킵니다. 둘째, 이러한 부드러움을 활용하여 수렴 속도를 높일 때, α는 학습률보다 우수한 성능을 보여줍니다. 왜냐하면 α는 드리프트 비율을 증가시키지 않고 작업 신호를 증폭하기 때문입니다. 셋째, 최적의 스케일링 계수는 순방 함수 관계를 가지며, 랭크와 제곱근 법칙으로 잘 설명되지만 예상치 못하게 큰 계수를 가집니다. 이는 기존의 랭크 기반 휴리스틱이 충분한 스케일링을 제공하지 못한다는 것을 보여줍니다. 이러한 통찰력을 바탕으로, α를 본래의 역할로 회복시켜 LoRA를 표준적인 작은 학습률과 호환되도록 하는 최소주의적 프레임워크인 LoRA-α를 제안합니다. 다양한 작업에 대한 광범위한 평가 결과, LoRA-α는 일관된 성능 향상을 제공하며 하이퍼파라미터 탐색을 간소화하여 LoRA의 학습 잠재력을 최대한 활용할 수 있음을 보여줍니다.

In Low-Rank Adaptation (LoRA), the scaling factor $α$ is often treated as a mere complement to the learning rate, yet its role in optimization remains poorly understood. In this paper, we reveal that the scaling factor $α$ and the learning rate function differently, with $α$ emerging as the dominant driver of effective optimization, delivering gains that cannot be replicated by learning rate scaling alone. Through the synergy of extensive empirical analysis and a theoretical Signal-Drift framework, we uncover three findings into LoRA's scaling mechanism: First, LoRA's spectral suppression smooths the optimization landscape, rendering standard hyperparameters overly conservative and creating an optimization gap. Second, when leveraging this smoothness to accelerate convergence, $α$ outperforms the learning rate by amplifying the task signal without increasing the drift ratio. Third, the optimal scaling factor follows a sublinear relationship with the rank, well characterized by a square-root law with an unexpectedly large coefficient, revealing the insufficient scaling of existing rank-tied heuristics. Based on these insights, we propose LoRA-$α$, a minimalist framework that restores $α$ to its principled regime, making LoRA compatible with standard small learning rates. Extensive evaluations across diverse tasks demonstrate that LoRA-$α$ consistently improves performance while streamlining hyperparameter search, unleashing the learning potential of LoRA.