MatryoshkaLoRA: LLM 미세 조정(Fine-tuning)을 위한 정확한 계층적 저랭크 표현 학습

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning

심층 학습 모델의 규모가 수십억 개의 파라미터에 이르면서, 미세 조정의 계산 비용은 여전히 배포의 중요한 장애물입니다. 저랭크 적응(LoRA)은 파라미터 효율적인 미세 조정의 표준으로 자리 잡았지만, 미리 정의된 정적 랭크 $r$을 설정해야 하므로 효율성과 성능의 균형을 맞추기 위해 광범위한 탐색이 필요합니다. DyLoRA와 같은 기존의 랭크 적응 방식은 훈련 중에 미리 정의된 분포에서 랭크를 샘플링하여 이 문제를 완화하지만, 높은 랭크에서 일관된 기울기 신호가 모든 계층에 걸쳐 전달되지 않아 종종 최적의 결과를 얻지 못하며, 이는 데이터 효율성을 저해합니다. 본 논문에서는 MatryoshkaLoRA라는 Matryoshka(러시안 인형)에서 영감을 받은 일반적인 훈련 프레임워크를 제안합니다. 이 프레임워크는 기존의 LoRA 어댑터 사이에 고정된, 신중하게 설계된 대각 행렬 $P$를 삽입하여 하위 랭크를 조정함으로써 정확한 계층적 저랭크 표현을 학습합니다. 이 간단한 수정 사항을 도입함으로써, 우리의 일반적인 프레임워크는 $P$ 값만 변경하여 LoRA 및 DyLoRA를 재현할 수 있으며, 모든 하위 랭크가 사용 가능한 기울기 정보를 효율적으로 포함하도록 보장합니다. MatryoshkaLoRA는 정확도 저하를 최소화하면서 동적 랭크 선택을 지원합니다. 또한, 계층적 저랭크 어댑터의 성능을 일관되게 평가하는 지표인 Area Under the Rank Accuracy Curve (AURAC)를 제안합니다. 우리의 결과는 MatryoshkaLoRA가 기존의 랭크 적응 방식보다 더 정확한 계층적 저랭크 표현을 학습하며, 평가된 데이터 세트에서 랭크에 따른 우수한 정확도-성능 균형을 달성한다는 것을 보여줍니다. 우리의 코드는 https://github.com/IST-DASLab/MatryoshkaLoRA 에서 확인할 수 있습니다.

With the rise in scale for deep learning models to billions of parameters, the computational cost of fine-tuning remains a significant barrier to deployment. While Low-Rank Adaptation (LoRA) has become the standard for parameter-efficient fine-tuning, the need to set a predefined, static rank $r$ requires exhaustive grid searches to balance efficiency and performance. Existing rank-adaptive solutions such as DyLoRA mitigate this by sampling ranks during the training from a predefined distribution. However, they often yield sub-optimal results at higher ranks due to lack of consistent gradient signals across the full hierarchy of ranks, thus making these methods data-inefficient. In this paper, we propose MatryoshkaLoRA, a general, Matryoshka-inspired training framework for LoRA that learns accurate hierarchical low-rank representations by inserting a fixed, carefully crafted diagonal matrix $P$ between the existing LoRA adapters to scale their sub-ranks accordingly. By introducing this simple modification, our general framework recovers LoRA and DyLoRA only by changing $P$ and ensures all sub-ranks embed the available gradient information efficiently. Our MatryoshkaLoRA supports dynamic rank selection with minimal degradation in accuracy. We further propose Area Under the Rank Accuracy Curve (AURAC), a metric that consistently evaluates the performance of hierarchical low-rank adapters. Our results demonstrate that MatryoshkaLoRA learns more accurate hierarchical low-rank representations than prior rank-adaptive approaches and achieves superior accuracy-performance trade-offs across ranks on the evaluated datasets. Our code is available at https://github.com/IST-DASLab/MatryoshkaLoRA.