대규모 언어 모델의 통계적으로 손실 없는 양자화

Statistically-Lossless Quantization of Large Language Models

모델 양자화는 대규모 언어 모델 효율적인 배포에 필수적이지만, 기존 방법들은 명확한 절충점을 제시합니다. GPTQ 및 AWQ와 같은 방법은 실질적인 압축을 달성하지만 손실이 발생하며, 무손실 기술은 정확도를 유지하지만 추론 속도 향상을 제공하지 못합니다. 본 논문에서는 통계적으로 무손실 압축의 중간 지점을 탐구하며, 양자화된 LLM에서 '무손실'이 의미하는 세 가지 상호 보완적인 측면을 조사합니다. 첫째, 작업 단위 무손실 압축은 자연스러운 샘플링 분산 범위 내에서 벤치마크 정확도를 유지하며, 공격적인 비트폭에서도 달성 가능합니다. 둘째, 양자화된 모델의 다음 토큰 분포가 원래 분포와 실질적으로 구별할 수 없어야 하는 더 엄격한 '분포 단위 무손실' 개념을 공식화하고, 최적의 연결 하에서 최대 토큰 일치 확률인 '예상 채택률 (EAR)'을 직접 해석 가능한 충실도 지표로 제안합니다. 예를 들어 EAR >= 0.99는 99%의 일치를 의미합니다. 셋째, 대칭 양자화가 비대칭 양자화에 비해 노이즈 분산을 감마^2만큼 증가시킨다는 감마 제곱 분산 법칙을 증명하며, 이는 분배 단위 무손실 충실도를 위해서는 비대칭 양자화가 필수적이지만, 작업 수준의 유지에는 필요하지 않음을 보여줍니다. SLQ는 비대칭 양자화와 넓은 비트폭 탐색을 사용하는 레이어별 비균일 방법으로, 모델에 따라 3.3비트에 불과한 낮은 값으로 작업 단위 무손실 압축을 달성하고, 평균적으로 5-6비트/파라미터의 분포 단위 무손실 압축을 제공하며, 최적화된 커널을 사용하여 FP16 대비 1.7~3.7배의 추론 속도 향상을 보여줍니다. 소스 코드는 [https://github.com/IST-DASLab/SLQ](https://github.com/IST-DASLab/SLQ) 에서 확인할 수 있습니다.

Model quantization has become essential for efficient large language model deployment, yet existing approaches present clear trade-offs: methods such as GPTQ and AWQ achieve practical compression but are lossy, while lossless techniques preserve fidelity but lack inference acceleration. This paper explores the middle ground of statistically-lossless compression, examining three complementary aspects of what losslessness means for quantized LLMs. First, task-lossless compression preserves zero-shot benchmark accuracy within natural sampling variance and is achievable at aggressive bitwidths. Second, we formalize the stricter notion of distribution-lossless compression, requiring the quantized model's next-token distribution to be practically indistinguishable from the original, and propose the Expected Acceptance Rate (EAR), the maximum token-agreement probability under optimal coupling, as a directly interpretable fidelity metric. For example, EAR >= 0.99 means 99% agreement. Third, we prove a gamma-squared variance law showing that symmetric quantization inflates noise variance by gamma^2 relative to asymmetric quantization, making asymmetric quantization a prerequisite for distribution-lossless fidelity but not for task-level preservation. Through SLQ, a layer-wise non-uniform method with asymmetric quantization and wide bitwidth search, we obtain task-lossless compression at well below 4 bits per parameter, as low as 3.3 bits depending on the model, distribution-lossless compression at 5-6 bits per parameter on average, and inference speedups of 1.7-3.7x compared to FP16 using optimized kernels. Source code is available at [https://github.com/IST-DASLab/SLQ](https://github.com/IST-DASLab/SLQ).