LoRA 랭크에 따른 학습률 조정 및 전체 파인튜닝으로의 전이

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning

Low-Rank Adaptation (LoRA)은 대규모 모델의 효율적인 파인튜닝을 위한 표준적인 도구입니다. LoRA는 작은 메모리 공간을 차지하지만, 초기화, 어댑터 랭크, 학습률과 같은 여러 하이퍼파라미터에 따라 훈련 동역학이 매우 복잡할 수 있습니다. 특히, 최적의 학습률이 어댑터 랭크에 따라 어떻게 변화하는지에 대한 명확한 정보가 부족하여, 랭크가 변경될 때마다 학습률을 재조정해야 하는 어려움이 있습니다. 본 논문에서는 안정적이고 소실되지 않는 특징 업데이트를 생성하기 위해 모델 폭과 어댑터 랭크에 따라 "최적"의 학습률이 어떻게 조정되어야 하는지를 설명하는 이론적 프레임워크인 Maximal-Update Adaptation ($μ$A)을 소개합니다. $μ$A는 사전 훈련 과정에서 사용되는 Maximal-Update Parametrization ($μ$P)에서 영감을 받았습니다. 본 연구에서는 하이퍼파라미터 전이 기술을 활용하여 분석한 결과, 초기화 및 LoRA 스케일링 계수에 따라 최적의 학습률이 서로 다른 스케일링 패턴을 보이는 것을 확인했습니다. 구체적으로, 최적의 학습률이 랭크에 거의 영향을 받지 않는 경우와, 랭크에 반비례하여 스케일링되는 경우, 두 가지 경향을 파악했습니다. 또한, LoRA에서 전체 파인튜닝으로 학습률을 전이할 수 있는 구성을 제시하여, 전체 파인튜닝을 위한 학습률 튜닝 비용을 크게 절감할 수 있습니다. 언어, 이미지, 이미지-텍스트, 이미지 생성 및 강화 학습 작업에 대한 실험 결과는 제안하는 스케일링 규칙을 검증하며, LoRA에서 튜닝된 학습률이 전체 파인튜닝으로 안정적으로 전이될 수 있음을 보여줍니다.

Low-Rank Adaptation (LoRA) is a standard tool for parameter-efficient finetuning of large models. While it induces a small memory footprint, its training dynamics can be surprisingly complex as they depend on several hyperparameters such as initialization, adapter rank, and learning rate. In particular, it is unclear how the optimal learning rate scales with adapter rank, which forces practitioners to re-tune the learning rate whenever the rank is changed. In this paper, we introduce Maximal-Update Adaptation ($μ$A), a theoretical framework that characterizes how the "optimal" learning rate should scale with model width and adapter rank to produce stable, non-vanishing feature updates under standard configurations. $μ$A is inspired from the Maximal-Update Parametrization ($μ$P) in pretraining. Our analysis leverages techniques from hyperparameter transfer and reveals that the optimal learning rate exhibits different scaling patterns depending on initialization and LoRA scaling factor. Specifically, we identify two regimes: one where the optimal learning rate remains roughly invariant across ranks, and another where it scales inversely with rank. We further identify a configuration that allows learning rate transfer from LoRA to full finetuning, drastically reducing the cost of learning rate tuning for full finetuning. Experiments across language, vision, vision--language, image generation, and reinforcement learning tasks validate our scaling rules and show that learning rates tuned on LoRA transfer reliably to full finetuning.