CAT-Q: LLM을 위한 비용 효율적이고 정확한 3진 양자화

CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs

본 논문에서는 LLM(Large Language Models, 거대 언어 모델)의 압축 및 가속화를 위해 설계된 CAT-Q (Cost-efficient and Accurate Ternary Quantization, 비용 효율적이고 정확한 3진 양자화) 기법을 제시합니다. 기존의 최첨단 3진 양자화 방법들은 심각한 성능 저하를 완화하기 위해 데이터 집약적이고 비용이 많이 드는 양자화 인식 학습(quantization-aware training)에 의존하는 반면, CAT-Q는 간단하면서도 효과적인 사후 학습 양자화 기법으로, 다양한 아키텍처와 모델 크기를 가진 LLM에 쉽게 적용할 수 있습니다. CAT-Q는 두 가지 주요 구성 요소인 학습 가능한 변조(LM, Learnable Modulation)와 완화된 3진화(ST, Softened Ternarization)를 가지고 있으며, 이들은 최적화 관점에서 결합되어 작동합니다. LM은 학습 가능한 계수들의 조합을 활용하여 사전 학습된 고정밀 가중치 및 3진 임계값의 분포를 조절함으로써, 3진화 과정에 대한 민감도를 줄입니다. ST는 추가적으로 미분 가능한 전환 함수를 도입하여 3진화 과정을 안정적인 수렴으로 이끌어줍니다. 실험 결과, 17억에서 80억 개의 파라미터를 가진 사전 학습된 LLM의 경우, CAT-Q는 단 512개의 교정 샘플만을 사용하여 효율적으로 3진 모델로 양자화할 수 있으며, 1000억 토큰으로 학습된 1.3억에서 70억 개의 파라미터를 가진 BitNet 1.58비트 v1 및 v2 모델보다 우수한 성능을 달성합니다. 이는 약 10만 배에 이르는 학습 토큰 감소를 의미합니다. 또한, CAT-Q는 처음으로 140억에서 2350억 개의 파라미터를 가진 훨씬 더 큰 사전 학습된 LLM을 8대의 A100-80GB GPU를 사용하여 단 8시간에서 60시간 이내에 선도적인 3진 모델로 양자화할 수 있음을 보여줍니다. 코드 및 관련 자료는 https://github.com/IntelChina-AI/BitTern 에서 확인할 수 있습니다.

In this paper, we present CAT-Q, Cost-efficient and Accurate Ternary Quantization, for compressing and accelerating LLMs. Unlike existing state-of-the-art ternary quantization methods that rely on data-intensive and costly quantization-aware training to mitigate severe performance degradation, CAT-Q is a simple yet effective post-training quantization scheme that is readily applicable to LLMs with diverse architectures and model sizes. It has two key components, learnable modulation (LM) and softened ternarization (ST), which are coupled from an optimization perspective. LM leverages a composition of learnable factors to modulate the distribution of pre-trained high-precision weights and the ternary threshold, making them less sensitive to ternarization. ST further introduces a differentiable transition function to guide the ternarization process toward stable convergence. We show that, for pre-trained LLMs with 1.7B to 8B parameters, CAT-Q can efficiently quantize them into ternary models using only 512 calibration samples, while achieving superior performance than the seminal BitNet 1.58-bit v1 and v2 families (with 1.3B to 7B parameters) trained with 100B tokens, yielding about a 100,000X reduction in training tokens. Moreover, we show for the first time that CAT-Q can quantize much larger pre-trained LLMs having 14B to 235B parameters into leading ternary models within just 8 to 60 hours on 8 A100-80GB GPUs. Code is available at https://github.com/IntelChina-AI/BitTern.