효율적인 대규모 언어 모델을 위한 일반적인 텐서 구조 압축 기법

A general tensor-structured compression scheme for efficient large language models

대규모 언어 모델(LLM)은 주로 밀집 선형 변환으로 구성되어 있으며, 이러한 변환은 저장 공간, 메모리 및 계산 오버헤드를 증가시켜 효율적인 적응 및 배포를 방해하며, 동시에 구조적 단순화가 기능에 미치는 영향을 가립니다. 본 연구에서는 Tensor Mixture (MixT)라는 일반적인 텐서 구조 압축 기법을 제안합니다. MixT는 특정 밀집 선형 레이어를 네이티브 실행 가능한 텐서 연산들의 조합으로 대체합니다. 모델별 구성 요소 대신 일반적인 선형 투영에 직접 작용하므로, MixT는 Transformer 기반 LLM 및 기타 밀집 신경망 매핑에 잠재적으로 적용 가능합니다. 우리는 Qwen3-8B와 LLaMA2-7B 모델을 사용하여 통일된 복구 프로토콜 하에서 MixT를 평가했습니다. 그 결과, MMLU 정확도가 크게 유지되는 넓은 압축 가능한 영역이 존재하며, 모델별 경계에서 급격한 변화가 발생하는 것을 확인했습니다. 이러한 변화는 출력 엔트로피, 예측 엔트로피 및 레이어 간 기하학적 구조의 조정과 동시에 발생합니다. LLaMA2-7B 모델의 전환 경계에서 MixT는 전체 모델 파라미터를 47.5%, 추론 FLOPs를 37.1%, 학습 FLOPs를 52.1% 및 최대 추론 메모리를 60.4% 감소시켜 저비용 LLM 압축에 대한 실질적인 잠재력을 보여줍니다.

Large language models (LLMs) are dominated by dense linear transformations, whose storage, memory and computational overheads hinder efficient adaptation and deployment while masking the functional impacts of structural simplification. Here we present Tensor Mixture (MixT), a general tensor-structured compression scheme that replaces targeted dense linear layers with natively executable mixtures of tensor operators. Operating directly on generic linear projections instead of model-specific components, MixT is potentially applicable across Transformer-based LLMs and other dense neural mappings. We evaluate MixT on Qwen3-8B and LLaMA2-7B under a unified recovery protocol, identifying a broad compressible regime in which MMLU accuracy is largely preserved before an abrupt transition at model-specific boundaries. This transition coincides with coordinated shifts in output entropy, prediction entropy and inter-layer geometry. At the LLaMA2-7B transition boundary, MixT reduces full-model parameters by 47.5\%, inference FLOPs by 37.1\%, training FLOPs by 52.1\% and peak inference memory by 60.4\%, demonstrating its practical potential for lower-cost LLM compression.