데이터셋 색상 양자화: 데이터셋 수준의 압축을 위한 학습 중심 프레임워크

Dataset Color Quantization: A Training-Oriented Framework for Dataset-Level Compression

대규모 이미지 데이터셋은 딥러닝의 핵심이지만, 높은 저장 공간 요구량은 자원 제약적인 환경에서의 활용에 어려움을 야기합니다. 기존의 접근 방식은 샘플을 제거하여 데이터셋 크기를 줄이지만, 종종 각 이미지 내의 상당한 중복성, 특히 색상 공간에서의 중복성을 간과합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 시각 데이터셋의 색상 공간 중복성을 줄이면서 모델 학습에 중요한 정보를 보존하는 통합 프레임워크인 데이터셋 색상 양자화(Dataset Color Quantization, DCQ)를 제안합니다. DCQ는 유사한 이미지 간에 일관된 팔레트 표현을 적용하고, 모델의 인식에 의해 결정되는 의미적으로 중요한 색상을 선택적으로 유지하며, 효과적인 특징 학습에 필요한 구조적 세부 정보를 유지함으로써 이를 달성합니다. CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet-1K 데이터셋에 대한 광범위한 실험 결과, DCQ는 공격적인 압축 환경에서도 훈련 성능을 크게 향상시키며, 데이터셋 수준의 저장 공간 감소를 위한 확장 가능하고 강력한 솔루션을 제공함을 보여줍니다. 관련 코드는 다음 링크에서 확인할 수 있습니다: [https://github.com/he-y/Dataset-Color-Quantization](https://github.com/he-y/Dataset-Color-Quantization)

Large-scale image datasets are fundamental to deep learning, but their high storage demands pose challenges for deployment in resource-constrained environments. While existing approaches reduce dataset size by discarding samples, they often ignore the significant redundancy within each image -- particularly in the color space. To address this, we propose Dataset Color Quantization (DCQ), a unified framework that compresses visual datasets by reducing color-space redundancy while preserving information crucial for model training. DCQ achieves this by enforcing consistent palette representations across similar images, selectively retaining semantically important colors guided by model perception, and maintaining structural details necessary for effective feature learning. Extensive experiments across CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet-1K show that DCQ significantly improves training performance under aggressive compression, offering a scalable and robust solution for dataset-level storage reduction. Code is available at \href{https://github.com/he-y/Dataset-Color-Quantization}{https://github.com/he-y/Dataset-Color-Quantization}.