TensorHub: 텐서 중심의 압축을 활용한 AI 모델 허브 재구상

TensorHub: Rethinking AI Model Hub with Tensor-Centric Compression

현대의 AI 모델은 크기와 중복성이 빠르게 증가하여 모델 허브에서의 저장 및 배포에 상당한 어려움을 야기합니다. 본 논문에서는 텐서 중심의 시스템인 TensorHub를 제안합니다. TensorHub는 미세 수준의 중복 제거 및 압축을 통해 저장 공간의 효율성을 높입니다. TensorHub는 어노테이션 없이 모델 간의 중복성을 식별하기 위해 텐서 레벨의 지문 생성 및 클러스터링 기술을 활용합니다. 우리의 설계는 모델의 활용성과 성능을 유지하면서 효율적인 저장 공간 감소를 가능하게 합니다. 실제 모델 저장소에 대한 실험 결과, 최소한의 오버헤드로 상당한 저장 공간 절감 효과를 확인했습니다.

Modern AI models are growing rapidly in size and redundancy, leading to significant storage and distribution challenges in model hubs. We present TensorHub, a tensor-centric system for reducing storage overhead through fine-grained deduplication and compression. TensorHub leverages tensor-level fingerprinting and clustering to identify redundancy across models without requiring annotations. Our design enables efficient storage reduction while preserving model usability and performance. Experiments on real-world model repositories demonstrate substantial storage savings with minimal overhead.