LLMCodec: 비디오 코덱을 활용한 대규모 언어 모델 효율적인 가중치 압축

LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models

대규모 언어 모델(LLM)의 급속한 발전은 자연어 처리 분야에서 놀라운 발전을 가져왔습니다. 그러나 이러한 모델의 규모가 커짐에 따라 저장, 전송 및 배포 측면에서 상당한 어려움이 발생합니다. 모델 압축 및 양자화 기술 개발 노력이 많이 이루어졌지만, 기존 방법들은 종종 추가적인 미세 조정 또는 교정 데이터를 필요로 하며, 이는 다양한 텐서 유형에 대한 일반화 성능이 제한적입니다. 본 논문에서는 비디오 코덱이 행렬 구조 데이터와의 호환성, 구성 가능한 압축 전략, 그리고 최적화된 상용 구현체의 가용성을 바탕으로 LLM 압축을 위한 유망한 솔루션을 제공할 수 있다고 주장합니다. 따라서, 우리는 VVC/H.266 비디오 코덱과 함께 어핀 양자화를 통합하여 LLM을 압축하는 방법인 LLMCodec을 제안합니다. VVC 외에도 다양한 비디오 코덱 및 인코딩 프로필을 비교하여 압축 성능에 미치는 영향을 평가했습니다. 다양한 모델에 대한 실험 결과는 LLMCodec의 견고성과 일반성을 입증합니다. 특히, LLMCodec은 LLaMA-3-8B 모델을 2비트 정밀도로 압축했을 때 기존 방법과 비교하여 퍼플렉시티를 1.5배 이상 줄이고 다운스트림 작업 정확도를 21% 향상시키는 것을 확인했습니다.

The rapid development of large language models(LLMs) has led to remarkable advances in natural language processing. However, the increasing scale of these models introduces substantial challenges in terms of storage, transmission, and deployment. Though great efforts have been devoted to model compression and quantization, existing methods often rely on fine-tuning or calibration data, which exhibit limited generalization across different tensor types. In this paper, we argue that video codecs offer a promising solution for LLM compression, due to their inherent compatibility with matrix structured data, configurable compression strategies, and the availability of highly optimized, off-the-shelf implementations. Therefore, we present LLMCodec, a video codec-based LLM compression method that integrates affine quantization with the recent VVC/H.266 video codec. Beyond VVC, we further compare a range of video codecs and encoding profiles to evaluate their impact on compression performance. Experiments on different models demonstrate the robustness and generality of LLMCodec. Notably, on LLaMA-3-8B at 2-bit precision, LLMCodec reduces perplexity by over 1.5x and improves downstream task accuracy by 21% compared with the existing method.