다항식 확장 랭크 적응: 고차 상호작용을 활용한 저랭크 미세 조정 성능 향상

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

저랭크 적응(LoRA)은 대규모 언어 모델(LLM)의 효율적인 미세 조정을 위한 널리 사용되는 전략이지만, 엄격하게 선형적인 구조는 표현 능력을 근본적으로 제한합니다. 가중치 업데이트의 이선형(bilinear) 방식은 저랭크 요소 간의 1차 의존성만을 포착하여 비선형 및 고차 매개변수 상호작용을 모델링하는 데 제약을 받습니다. 본 논문에서는 다항식 확장 랭크 적응(PERA)이라는 새로운 방법을 제안합니다. PERA는 구조화된 다항식 확장을 저랭크 요소 공간에 직접 도입합니다. 각 저랭크 요소를 확장하여 합성 후 고차 상호작용 항을 생성함으로써, PERA는 랭크 증가나 추론 비용 없이 풍부한 비선형 결합을 모델링할 수 있는 다항식 다양체를 형성하는 적응 공간으로 변환합니다. PERA는 기존의 선형 적응 방식에 비해 향상된 표현 능력과 효과적인 특징 활용을 제공한다는 이론적 분석을 제시합니다. 실험적으로, PERA는 다양한 벤치마크에서 최첨단 방법보다 일관되게 우수한 성능을 보입니다. 특히, 우리의 실험 결과는 고차 비선형 구성 요소, 특히 제곱 항을 포함하는 것이 표현 능력을 향상하고 다양한 랭크 설정에서 강력하고 안정적인 성능을 유지하는 데 중요하다는 것을 보여줍니다. 우리의 코드는 https://github.com/zhangwenhao6/PERA 에서 확인할 수 있습니다.

Low-rank adaptation (LoRA) is a widely used strategy for efficient fine-tuning of large language models (LLMs), but its strictly linear structure fundamentally limits expressive capacity. The bilinear formulation of weight updates captures only first-order dependencies between low-rank factors, restricting the modeling of nonlinear and higher-order parameter interactions. In this paper, we propose Polynomial Expansion Rank Adaptation (PERA), a novel method that introduces structured polynomial expansion directly into the low-rank factor space. By expanding each low-rank factor to synthesize high-order interaction terms before composition, PERA transforms the adaptation space into a polynomial manifold capable of modeling richer nonlinear coupling without increasing rank or inference cost. We provide theoretical analysis demonstrating that PERA offers enhanced expressive capacity and more effective feature utilization compare to existing linear adaptation approaches. Empirically, PERA consistently outperforms state-of-the-art methods across diverse benchmarks. Notably, our experiments show that incorporating high-order nonlinear components particularly square terms is crucial for enhancing expressive capacity and maintaining strong and robust performance under various rank settings. Our code is available at https://github.com/zhangwenhao6/PERA