랭크로서의 비선형성: 방사 기저 함수를 활용한 생성형 저랭크 어댑터

Nonlinearity as Rank: Generative Low-Rank Adapter with Radial Basis Functions

저랭크 적응(LoRA)은 두 저랭크 행렬의 곱을 사용하여 사전 학습된 가중치 행렬의 업데이트를 근사합니다. 그러나 표준 LoRA는 모델 용량을 늘리기 위해 저랭크 행렬에 행이나 열(즉, 기저 벡터)을 추가해야 하는 명시적 랭크 패러다임을 따르며, 이는 상당한 파라미터 증가를 초래합니다. 본 논문에서는 이러한 기저 벡터들이 상당한 파라미터 잉여성을 보이며 경량 비선형 함수로 압축하여 표현될 수 있음을 확인했습니다. 이에 따라 우리는 명시적인 기저 벡터 저장을 비선형 기저 벡터 생성으로 대체하는 생성형 저랭크 어댑터(GenLoRA)를 제안합니다. 구체적으로 GenLoRA는 각 저랭크 행렬에 대해 잠재 벡터를 유지하고, 일련의 경량 방사 기저 함수(RBF)를 사용하여 기저 벡터를 합성합니다. 각 RBF는 명시적 기저 벡터보다 훨씬 적은 파라미터를 필요로 하므로 GenLoRA의 파라미터 효율성을 높여줍니다. 다양한 데이터셋과 아키텍처에 대한 광범위한 실험 결과, GenLoRA는 더 적은 파라미터 예산으로 더 높은 유효 LoRA 랭크를 달성하여 우수한 미세 조정 성능을 발휘하는 것으로 나타났습니다. 코드는 https://anonymous.4open.science/r/GenLoRA-1519 에서 공개되어 있습니다.

Low-rank adaptation (LoRA) approximates the update of a pretrained weight matrix using the product of two low-rank matrices. However, standard LoRA follows an explicit-rank paradigm, where increasing model capacity requires adding more rows or columns (i.e., basis vectors) to the low-rank matrices, leading to substantial parameter growth. In this paper, we find that these basis vectors exhibit significant parameter redundancy and can be compactly represented by lightweight nonlinear functions. Therefore, we propose Generative Low-Rank Adapter (GenLoRA), which replaces explicit basis vector storage with nonlinear basis vector generation. Specifically, GenLoRA maintains a latent vector for each low-rank matrix and employs a set of lightweight radial basis functions (RBFs) to synthesize the basis vectors. Each RBF requires far fewer parameters than an explicit basis vector, enabling higher parameter efficiency in GenLoRA. Extensive experiments across multiple datasets and architectures show that GenLoRA attains higher effective LoRA ranks under smaller parameter budgets, resulting in superior fine-tuning performance. The code is available at https://anonymous.4open.science/r/GenLoRA-1519.