BoostLoRA: 어댑터 성능 향상을 통한 효과적인 랭크 확장

BoostLoRA: Growing Effective Rank by Boosting Adapters

매개변수 효율적인 미세 조정(PEFT) 방법은 어댑터 크기와 표현력 간의 상충 관계에 직면합니다. 매우 적은 수의 매개변수를 가진 어댑터는 고정된 낮은 랭크 부분 공간에 제약되어, 훈련 시간을 늘려도 성능 향상에 한계가 있습니다. 본 논문에서는 BoostLoRA라는 그래디언트 부스팅 프레임워크를 제안합니다. 이는 현재 모델이 잘못 예측하는 예시에 대해 최소한의 어댑터를 반복적으로 훈련하고 병합하여 이러한 한계를 극복합니다. ROTATE SVD 기반 전략을 사용하여 각 라운드를 서로 직교하는 부분 공간에 할당하므로, 총 효과적인 랭크는 라운드 수에 따라 선형적으로 증가하는 반면, 각 어댑터는 여전히 매우 낮은 랭크를 유지합니다. 병합 후에는 어댑터를 삭제하여 추론 오버헤드를 0으로 만듭니다. Qwen2.5-3B 모델에서 BoostLoRA는 GSM8K에서 89.1%, MATH-500에서 68.8%의 성능을 달성하여, 최고의 단일 샷 초저매개변수 어댑터(TinyLoRA)와 전체 미세 조정 방법을 모두 능가합니다. 코드 생성 분야에서는 MBPP에서 57.2%, HumanEval에서 80.4%의 성능을 보이지만, 전체 미세 조정은 제로샷 기준 성능에도 미치지 못합니다. 또한, ESM2-650M 모델을 사용하여 단백질 결합 분류 작업에서, 그리고 교차 엔트로피 훈련에서 아키텍처 간 전이 가능성을 보여줍니다. BoostLoRA는 현재까지 알려진 PEFT 방법 중 가장 먼저 훈련 과정에서 효과적인 랭크가 증가하며, 각 라운드의 매개변수 비용과 전체 표현 능력을 분리하는 방법을 제공합니다.

Parameter-efficient fine-tuning (PEFT) methods face a tradeoff between adapter size and expressivity: ultra-low-parameter adapters are confined to fixed low-rank subspaces, capping performance even with extended training. We propose BoostLoRA, a gradient-boosting framework that overcomes this limit by iteratively training and merging minimal adapters on the examples the current model gets wrong. A ROTATE SVD basis strategy assigns each round to an orthogonal subspace, so cumulative effective rank grows linearly with the number of rounds while each adapter remains ultra-low-rank. After merging, adapters are discarded, leaving zero inference overhead. On Qwen2.5-3B, BoostLoRA reaches 89.1% on GSM8K and 68.8% on MATH-500, surpassing both the best single-shot ultra-low parameter adapter (TinyLoRA) and full fine-tuning; on code generation it reaches 57.2% on MBPP and 80.4% on HumanEval while full fine-tuning drops below the zero-shot baseline. We also demonstrate cross-architecture transfer on protein binding classification with ESM2-650M and cross-entropy training. BoostLoRA is, to our knowledge, the first PEFT method whose effective rank grows with training, separating per-round parameter cost from total representational capacity.