NaRA: 노이즈 인지 LoRA - 확산형 거대 언어 모델의 효율적인 파라미터 미세 조정

NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs

확산 기반 대규모 언어 모델(dLLM)은 유망한 비자동 회귀 생성 패러다임으로 떠오르고 있습니다. 전체 모델을 미세 조정하는 데 드는 막대한 계산 비용 때문에, 파라미터 효율적인 미세 조정(PEFT)이 표준적인 접근 방식이 되었습니다. 그러나 기존의 PEFT 방법(예: LoRA)은 원래 자동 회귀 모델에 맞춰 설계되었으며, 정적 파라미터를 사용하여 노이즈 레벨에 영향을 받지 않습니다. 결과적으로 이러한 방법들은 확산 과정의 고유한 역학을 무시하며, 입력 분포와 생성 난이도가 디노이징 경로를 따라 크게 변하는 점을 고려하지 않기 때문에 dLLM에 최적화되어 있지 않습니다. 이를 해결하기 위해, 우리는 노이즈 인지 저랭크 적응(NaRA) 방법을 제안합니다. NaRA는 가볍고 전역적으로 공유되는 하이퍼네트워크가 노이즈 레벨에 따라 생성하는 저랭크 핵심 행렬을 도입합니다. 이러한 설계는 업데이트 행렬이 확산 과정에 따라 지속적으로 변하도록 하며, 동시에 파라미터 및 지연 시간 오버헤드를 최소화합니다. 우리는 제안된 NaRA 프레임워크에 대한 이론적 근거를 제시하고, 상식 추론, 수학적 추론, 코드 생성 벤치마크에서 노이즈 무시 기반 방법보다 일관되게 성능이 향상됨을 실험적으로 보여줍니다. 저희 코드는 https://github.com/generaldi/NaRA 에서 확인할 수 있습니다.

Diffusion Large Language Models (dLLMs) have emerged as a promising non-autoregressive generative paradigm. Given the prohibitive computational cost of full fine-tuning, Parameter-Efficient Fine-Tuning (PEFT) has become the standard approach. However, existing PEFT methods (e.g., LoRA), originally tailored for autoregressive models, rely on static parameters that are agnostic to the noise level. Consequently, they ignore the intrinsic dynamics of the diffusion process, where input distributions and generation difficulty shift significantly along the denoising trajectory, rendering them suboptimal for dLLMs. To address this, we propose Noise-aware Low-Rank Adaptation (NaRA), which introduces a low-rank core matrix generated by a lightweight, globally shared hypernetwork conditioned on the noise level. This design enables the update matrices to vary continuously along the diffusion process while keeping parameter and latency overhead negligible. We provide a theoretical justification for the proposed NaRA framework and empirically demonstrate consistent improvements over noise-agnostic baselines across commonsense reasoning, mathematical reasoning, and code generation benchmarks. Our code is available at https://github.com/generaldi/NaRA.