최적의 양자화 스케일 값과 그 위치

Optimal Post-Training Quantization Scales and Where to Find Them

사후 양자화(PTQ)는 가중치를 저비트 표현으로 매핑하여 대규모 언어 모델을 압축하는 기술입니다. 일반적으로 양자화 그리드를 정의하는 스케일링 팩터는 데이터 없이 간단한 휴리스틱을 사용하여 선택됩니다. 본 연구에서는 PiSO(Piecewise Scale Optimization, 분할 스케일 최적화)라는 알고리즘을 제시합니다. 이 알고리즘은 보정 데이터를 활용하여 가장 가까운 값으로 반올림하는 양자화 방식에서 채널별 가중치에 대한 최적의 스케일을 정확하고 효율적으로 계산합니다. PiSO는 스케일 검색 공간을 유한한 구간으로 분할하며, 각 구간에서 목적 함수는 해석적인 최소값을 갖습니다. 또한, 우리는 원칙적인 휴리스틱을 통해 PiSO를 그룹별 양자화로 확장하고, 스케일 최적화와 오류 수정의 효과적인 결합 전략을 제안합니다. Llama 및 Qwen 모델에 대한 다양한 크기의 모델과 목표 가중치 비트 폭에 대한 실험 결과, 독립적으로 사용하거나 오류 수정을 함께 사용할 때에도 모든 경우에 대해 퍼플렉시티(perplexity) 및 다운스트림 제로샷 정확도가 꾸준히 향상되는 것을 확인했습니다. 특히, 목표 비트 폭이 좁아지고 양자화가 더 어려워질수록 더욱 큰 성능 향상을 관찰할 수 있었습니다.

Post-training quantization (PTQ) compresses large language models by mapping weights to low-bit representations. The scaling factor that defines the quantization grid is typically chosen using simple, data-free heuristics. In this work, we present PiSO (Piecewise Scale Optimization), an algorithm that leverages calibration data to compute the optimal channel-wise weight scales exactly and efficiently under round-to-nearest quantization. PiSO partitions the scale search space into finitely many intervals on which the objective admits a closed-form minimizer. We extend PiSO to group-wise quantization via principled heuristics and propose effective strategies for interleaving scale optimization with error correction. Experiments on Llama and Qwen models across multiple model sizes and target weight bit-widths demonstrate consistent improvements in perplexity and downstream zero-shot accuracy, both standalone and combined with error correction. In particular, we observe increased benefits as the target bit-width narrows and quantization becomes more challenging.