MXSens: 민감도 기반의 혼합 정밀 양자화 기법을 이용한 효율적인 LLM 추론

MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference

4비트 양자화는 효율적인 LLM 추론을 가능하게 하지만, 이상치로 인해 상당한 정확도 저하가 발생합니다. 기존 연구에서는 데이터 회전 또는 혼합 정밀 정수 양자화를 통해 이 문제를 해결하려고 시도했지만, 종종 소프트웨어 기반의 스케일링 및 빈번한 역양자화 과정으로 인해 상당한 오버헤드가 발생합니다. MXINT와 같은 마이크로 스케일링 형식은 하드웨어에 스케일을 인코딩하여 이러한 비효율성을 제거하지만, 회전 기반 방법과 호환되지 않습니다. 우리의 분석 결과, 이상치는 드문 극단적인 값부터 빈번한 경미한 편차까지 다양하며, 양자화 민감도는 레이어 및 열(column) 전체에 걸쳐 균등하게 분포하지 않습니다. 이러한 통찰력을 바탕으로 우리는 세밀하고 민감도 기반의 접근 방식을 제안합니다. 본 논문에서는 훈련 과정이 필요 없는 MXSens이라는 방법을 소개합니다. MXSens은 각 열과 레이어별 민감도를 기준으로 혼합된 맨티사 비트 폭(4/6/8)을 할당하며, MXINT의 블록 기반 구조를 자연스럽게 활용합니다. MXSens은 다양한 모델 및 작업에서 최첨단 양자화 방법보다 뛰어난 성능을 보입니다. W4A4KV4 설정 하에서, MXSens은 LLaMA-2-70B와 LLaMA-3-8B 모델에서 각각 3.77과 7.63의 퍼플렉시티를 달성했으며, WikiText-2 데이터셋에서 기존 방법보다 상당한 성능 향상을 보였습니다. 본 연구는 LLM 양자화를 위한 정확도와 리소스 효율성 간의 새로운 균형을 제시합니다.

4-bit quantization enables efficient LLM inference, but suffers from significant accuracy degradation due to outliers. Prior work addresses this problem via data rotation or mixed-precision integer quantization, but often relies on software-managed scaling and frequent dequantization, incurring substantial overhead. Microscaling formats, such as MXINT, eliminate these inefficiencies by encoding scales in hardware, yet remain incompatible with rotation-based methods. Our analysis reveals that outliers vary in severity, from rare extremes to frequent mild deviations, and that quantization sensitivity is unevenly distributed across layers and columns. These insights motivate a fine-grained, sensitivity-guided approach. We introduce MXSens, a training-free method that assigns mixed mantissa bitwidths (4/6/8) based on column- and layer-wise sensitivity, naturally leveraging the block-wise structure of MXINT. MXSens outperforms state-of-the-art quantization methods across a range of models and tasks. Under the W4A4KV4 setting, MXSens achieves perplexities of 3.77 and 7.63 on LLaMA-2-70B and LLaMA-3-8B, respectively, substantially improving over existing baselines on WikiText-2. Our work establishes a new balance between accuracy and resource efficiency for LLM quantization.