FreeAct: LLM 양자화(Quantization)를 위한 활성화(Activation) 제약 완화

FreeAct: Freeing Activations for LLM Quantization

양자화는 대규모 언어 모델(LLM)의 상당한 메모리 및 계산 오버헤드를 줄이는 데 중요한 역할을 합니다. 기존의 변환 기반 방법은 직교 행렬을 사용하여 특징 공간을 더 부드러운 다양체로 투영함으로써 양자화를 개선하는 데 성공했지만, 일반적으로 엄격한 일대일 변환 제약을 적용합니다. 이러한 정적인 접근 방식은 입력 활성화의 동적 패턴, 특히 디퓨전 LLM(dLLM) 및 멀티모달 LLM(MLLM)에서 다양한 토큰 유형이 나타내는 뚜렷한 분포를 고려하지 못합니다. 이러한 문제를 해결하기 위해, 우리는 정적인 일대일 제약을 완화하여 동적 활성화 차이를 수용하는 새로운 양자화 프레임워크인 FreeAct를 제안합니다. 이론적으로, 우리는 활성화의 계수 결핍(rank-deficient) 특성을 활용하여 단순한 역행렬을 넘어선 해 공간을 도출하고, 이를 통해 활성화 변환을 가중치로부터 분리할 수 있도록 합니다. 방법론적으로, FreeAct는 토큰별 동적 특성(예: 이미지 대 텍스트 또는 마스크된 토큰)을 파악하고, 활성화 측에 개별적인 변환 행렬을 할당하는 동시에 가중치 측에는 통일된 정적 변환을 유지합니다. dLLM 및 MLLM에 대한 광범위한 실험 결과, FreeAct는 기준 모델보다 훨씬 우수한 성능을 보이며, 최대 5.3%의 성능 향상을 달성했습니다. 자세한 분석 결과도 함께 제공됩니다. 저희의 코드는 공개될 예정입니다.

Quantization is pivotal for mitigating the significant memory and computational overhead of Large Language Models (LLMs). While emerging transformation-based methods have successfully enhanced quantization by projecting feature spaces onto smoother manifolds using orthogonal matrices, they typically enforce a rigid one-to-one transformation constraint. This static approach fails to account for the dynamic patterns inherent in input activations, particularly within diffusion LLMs (dLLMs) and Multimodal LLMs (MLLMs), where varying token types exhibit distinct distributions. To advance this, we propose FreeAct, a novel quantization framework that relaxes the static one-to-one constraint to accommodate dynamic activation disparities. Theoretically, we leverage the rank-deficient nature of activations to derive a solution space that extends beyond simple inverse matrices, enabling the decoupling of activation transformations from weights. Methodologically, FreeAct identifies token-specific dynamics (i.e., vision v.s. text, or masked tokens) and allocates distinct transformation matrices to the activation side, while maintaining a unified, static transformation for the weights. Extensive experiments across dLLMs and MLLMs demonstrate that FreeAct significantly outperforms baselines, up to 5.3% performance improvement, with in-depth analyses. Our code will be publicly released.