GPart: 글로벌 파라미터 분할을 통한 엔드투엔드 등각 미세 조정

GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning

저랭크 적응(LoRA)은 대규모 언어 모델(LLM)의 효율적인 파라미터 미세 조정(PEFT)을 위한 주요 패러다임으로 자리 잡았습니다. 그러나 LoRA의 이선형 구조는 중요한 제약을 야기합니다. 즉, 학습 가능한 파라미터에서 가중치 업데이트로의 매핑이 거리를 보존하지 않아 최적화 환경을 왜곡합니다. Uni-LoRA와 같이 저차원 벡터를 LoRA의 파라미터 공간으로 투영하는 방법은 파라미터 효율성을 향상시키지만, 후속 이선형 LoRA 매핑은 엔드투엔드 등각성을 깨뜨려 근본적인 거리 보존 문제를 해결하지 못합니다. 우리는 GPart(Global Partition fine-tuning)를 제안합니다. GPart는 저랭크 병목 현상을 완전히 제거하여 매우 효율적인 미세 조정 방법을 제공합니다. 우리의 방법은 단일 등각 분할 행렬을 사용하여 $d$차원의 학습 가능한 벡터를 모델의 전체 가중치 공간으로 직접 매핑합니다. 그 결과, GPart는 극도로 간결한 미세 조정 파이프라인을 제공합니다. 이는 단일 랜덤 투영으로 구성되며, 엔드투엔드 등각성을 유지하고, 단일 하이퍼파라미터($d$)만 사용하며, $d+1$개의 값(학습 가능한 벡터와 랜덤 시드)만 저장합니다. GPart는 효과적인 미세 조정이 저랭크 행렬 구조를 강제하지 않고, 전체 가중치 공간의 랜덤 저차원 부분 공간에서 나타날 수 있다는 이론적 전제에 기반합니다. 우리는 자연어 이해, 컴퓨터 비전 작업 및 수학적 추론에서 기존의 PEFT 방법에 비해 GPart가 우수한 성능을 보이거나 동등한 성능을 보임을 실험적으로 입증했습니다. 전반적으로 GPart는 구조적 제약을 제거하여 최첨단 효율성과 성능을 달성하며, PEFT를 위한 간단하고 우아한 경로를 제시합니다.

Low-rank adaptation (LoRA) has become the dominant paradigm for parameter-efficient fine-tuning (PEFT) of large language models (LLMs). However, its bilinear structure introduces a critical limitation: the mapping from trainable parameters to weight updates is not distance-preserving, distorting the optimization landscape. Methods that project a low-dimensional vector into LoRA's parameter space, such as Uni-LoRA, improve parameter efficiency, but the subsequent bilinear LoRA map breaks end-to-end isometry, leaving the core distance-preservation problem unresolved. We propose GPart (Global Partition fine-tuning), a highly parameter-efficient fine-tuning method which removes the low-rank bottleneck entirely. Our method uses a single isometric partition matrix to map a $d$-dimensional trainable vector directly into the full weight space of the model. The result is an extremely minimal fine-tuning pipeline: one random projection, end-to-end isometric, with a single clean hyperparameter ($d$) and storage cost of $d+1$ values (the trainable vector plus a random seed). GPart builds on the theoretical premise that effective fine-tuning can emerge from random low-dimensional subspaces of the full weight space, without imposing low-rank matrix structure. We empirically demonstrate the superior or comparable performance of GPart to existing PEFT methods on natural language understanding, computer vision tasks, and mathematical reasoning. Overall, GPart achieves state-of-the-art efficiency and performance by removing structural constraints, offering a straightforward and elegant path to PEFT.