손실 없는 텐서 압축을 프로그램 합성으로 구현

Lossless Tensor Compression as Program Synthesis

모델 체크포인트는 그 수와 크기가 모두 증가하고 있으며, 이로 인해 보관, 전송 및 배포 비용이 점점 높아지고 있습니다. 범용 압축기는 저장 공간 요구 사항을 줄일 수 있지만 텐서 구조를 고려하지 않으며, 기존의 텐서 특화 압축기는 고정되고 형식에 종속적인 파이프라인에 의존합니다. 본 논문에서는 손실 없는 텐서 압축을 프로그램 합성으로 다루는 Brevis를 제시합니다. 반복되는 영역 및 부동 소수점 필드와 같은 일반적인 텐서 구조를 포착하는 타입화된 도메인 특화 언어(DSL)를 설계했습니다. 이 DSL은 가역 연산 집합을 통해 구현됩니다. 주어진 텐서에 대해, Brevis는 이를 비트 단위로 정확하게 재구성하는 독립 실행형 DSL 프로그램을 합성합니다. 체크포인트 특정 사전 지식을 활용하여, 작은 대표적인 텐서 샘플에서 학습된 정보를 바탕으로 제한된 A* 탐색을 수행하여 압축률이 높은 프로그램을 합성하고, 이를 통해 비트 단위의 정확한 압축 해제를 직접 수행할 수 있습니다. 본 논문에서는 언어 모델, 오디오 모델 및 이미지 생성 모델을 포함하는 10개의 공개 체크포인트를 대상으로 실험한 결과, Brevis는 총 2.13 TB의 체크포인트 데이터를 1.41 TB로 줄여 33.93%의 저장 공간 감소를 달성했습니다. 또한 zstd 및 gzip과 같은 4가지 범용 압축기보다 최대 30.87% 더 작은 아카이브 크기를 생성했으며, ZipNN 및 DFloat11과 같은 텐서 특화 압축기보다도 더 작은 아카이브 크기를 제공합니다. 실제 병렬 구성 환경에서 Brevis는 모든 소스 바이트를 유지하면서 3.60 GB/s의 압축 속도와 6.61 GB/s의 압축 해제 속도를 달성했습니다.

Model checkpoints are growing in both number and size, which makes archival, transfer, and deployment increasingly costly. General-purpose compressors can reduce storage requirements but ignore tensor structure, whereas existing tensor-specific compressors rely on fixed and format-specific pipelines. We present Brevis, which formulates lossless tensor compression as program synthesis. We design a typed domain-specific language (DSL) that captures recurring tensor structures, such as repeated regions and floating-point fields, through a set of reversible operators. Given a tensor, Brevis synthesizes a self-contained DSL program that reconstructs it bit-exactly. A checkpoint-specific production prior, learned from a small representative sample of tensors, guides a bounded A* search to synthesize compact programs, which can later be executed directly for bit-exact decompression. On 10 public checkpoints spanning language, audio, and image generation models, Brevis reduces 2.13 TB of checkpoint data to 1.41 TB, a 33.93% storage reduction. It produces archives up to 30.87% smaller than those of four general-purpose compressors, including zstd and gzip, and smaller archives than the tensor-specific compressors ZipNN and DFloat11. Under a practical concurrency configuration, Brevis achieves 3.60 GB/s compression and 6.61 GB/s decompression while preserving every source byte.