IGU-LoRA: 통합 그래디언트 및 불확실성 기반 점수를 활용한 적응형 랭크 할당

IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring

대규모 언어 모델(LLM)이 수십억 개의 파라미터로 확장됨에 따라, 전체 파라미터를 미세 조정하는 것은 컴퓨팅 및 메모리 측면에서 매우 비효율적입니다. 파라미터 효율적인 미세 조정(PEFT)은 기본 모델을 고정하고, 특정 작업에 필요한 작은 파라미터 집합만 업데이트하여 이러한 문제를 완화합니다. PEFT 방법 중 로우-랭크 적응(LoRA)이 널리 사용되지만, 이는 레이어 중요도의 상당한 차이에도 불구하고 모든 레이어에 동일한 랭크를 적용합니다. 따라서 레이어별 랭크 할당이 필요합니다. 최근의 적응형 랭크 변형(예: AdaLoRA)은 중요도 점수를 기반으로 랭크를 할당하지만, 일반적으로 로컬 감도를 나타내는 순간 그래디언트에 의존하여, 동일 레이어 내의 비-로컬, 경로 기반 효과를 간과하여 불안정하고 편향된 점수를 생성합니다. 이러한 한계를 해결하기 위해, 우리는 통합 그래디언트(IG) 감도를 사용하여 레이어 내의 감도를 계산하고 이를 레이어 수준의 점수로 집계하여 랭크 할당을 수행하는 적응형 랭크 LoRA인 IGU-LoRA를 제안합니다. 또한, 노이즈가 많은 업데이트를 억제하고 랭크 선택을 조정하기 위해, 지수 이동 평균과 편차 추적을 사용한 불확실성 기반 방식을 적용합니다. 이론적으로, 경로 기반 헤세-립시츠 조건을 만족하는 파라미터 공간 IG의 복합 사다리꼴 규칙 근사 오차에 대한 상한을 증명했으며, 이는 쿼드러처 예산 결정에 활용됩니다. 다양한 작업 및 아키텍처에서, IGU-LoRA는 동일한 파라미터 예산 하에서 강력한 PEFT 기반 모델보다 일관되게 우수한 성능을 보이며, 다운스트림 정확도와 안정성을 향상시킵니다. 실험 결과는 경로 기반 레이어 내 감도 추정 및 불확실성 기반 선택이 효과적인 랭크 할당에 기여한다는 것을 확인합니다. 저희의 코드는 다음 주소에서 공개적으로 이용할 수 있습니다: https://github.com/withyou12/igulora.git

As large language models (LLMs) scale to billions of parameters, full-parameter fine-tuning becomes compute- and memory-prohibitive. Parameter-efficient fine-tuning (PEFT) mitigates this issue by updating only a small set of task-specific parameters while keeping the base model frozen. Among PEFT approaches, low-rank adaptation (LoRA) is widely adopted; however, it enforces a uniform rank across layers despite substantial variation in layer importance, motivating {layerwise} rank allocation. Recent adaptive-rank variants (e.g., AdaLoRA) allocate ranks based on importance scores, yet typically rely on instantaneous gradients that capture only local sensitivity, overlooking non-local, pathwise effects within the same layer, which yields unstable and biased scores. To address this limitation, we introduce IGU-LoRA, an adaptive-rank LoRA that (i) computes within-layer Integrated Gradients (IG) sensitivities and aggregates them into a layer-level score for rank allocation, and (ii) applies an uncertainty-aware scheme using exponential moving averages with deviation tracking to suppress noisy updates and calibrate rank selection. Theoretically, we prove an upper bound on the composite trapezoidal rule approximation error for parameter-space IG under a pathwise Hessian-Lipschitz condition, which informs the quadrature budget. Across diverse tasks and architectures, IGU-LoRA consistently outperforms strong PEFT baselines at matched parameter budgets, improving downstream accuracy and robustness. Ablations confirm the contributions of pathwise within-layer sensitivity estimates and uncertainty-aware selection to effective rank allocation. Our code is publicly available at https://github.com/withyou12/igulora.git