보존-후-양자화: LLM에서 양자화 오차 재구성을 위한 랭크 예산 균형

Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs

양자화 오차 재구성(QER)은 사후 훈련 양자화(PTQ)에서 가중치를 $\mathbf{W} \approx \mathbf{Q} + \mathbf{L}\mathbf{R}$ 형태로 근사하여 랭크-$r$ 보정을 사용하여 양자화 오류를 재구성함으로써 정확도 손실을 줄입니다. 기존 방법은 전체 랭크 예산을 오류 재구성에 할당하는데, 이는 $\mathbf{W}$가 고유한 낮은 랭크 구조를 가지고 있고 양자화가 주요 방향을 손상시키는 경우에 비효율적입니다. 우리는 활성화 스케일링된 가중치의 상위-$k$ 특이 부분 공간을 양자화 전에 보존하고, 잔여 부분만 양자화하고, 남은 랭크 $r-k$를 오류 재구성에 사용하는 랭크 할당 프레임워크인 구조적 잔차 재구성(SRR)을 제안합니다. 우리는 랭크 제약 조건 하에서 양자화로 인해 드러나는 에너지와 복구할 수 없는 오류를 균형 있게 고려하여 $k$를 선택하는 이론 기반 기준을 도출했습니다. 또한, 결과적으로 얻어지는 $\mathbf{Q} + \mathbf{L}\mathbf{R}$ 파라미터화가 양자화 파라미터 효율적인 미세 조정(QPEFT)을 자연스럽게 지원하며, 보존된 방향을 따라 기울기 스케일링을 통해 미세 조정을 안정화한다는 것을 보여줍니다. 실험 결과는 다양한 모델 및 양자화 설정에서 PTQ에서 일관된 퍼플렉시티 감소를 보여주었으며, 2비트 QPEFT에서 GLUE에서 평균 5.9% 포인트의 성능 향상을 달성했습니다.

Quantization Error Reconstruction (QER) reduces accuracy loss in Post-Training Quantization (PTQ) by approximating weights as $\mathbf{W} \approx \mathbf{Q} + \mathbf{L}\mathbf{R}$, using a rank-$r$ correction to reconstruct quantization error. Prior methods devote the full rank budget to error reconstruction, which is suboptimal when $\mathbf{W}$ has intrinsic low-rank structure and quantization corrupts dominant directions. We propose Structured Residual Reconstruction (SRR), a rank-allocation framework that preserves the top-$k$ singular subspace of the activation-scaled weight before quantization, quantizes only the residual, and uses the remaining rank $r-k$ for error reconstruction. We derive a theory-guided criterion for selecting $k$ by balancing quantization-exposed energy and unrecoverable error under rank constraints. We further show that resulting $\mathbf{Q} + \mathbf{L}\mathbf{R}$ parameterization naturally supports Quantized Parameter-Efficient Fine-Tuning (QPEFT), and stabilizes fine-tuning via gradient scaling along preserved directions. Experiments demonstrate consistent perplexity reductions across diverse models and quantization settings in PTQ, along with a 5.9 percentage-point average gain on GLUE under 2-bit QPEFT.