탐색-활용 최적화를 통한 대규모 데이터 증류 가속화

Accelerating Large-Scale Dataset Distillation via Exploration-Exploitation Optimization

데이터 증류는 원본 데이터를 압축하여 모델 성능을 유지하면서 학습 시간과 저장 공간을 줄여, 제한된 자원 환경에서의 모델 배포를 가능하게 합니다. 최근의 분리 기반 증류 방법은 대규모 데이터 증류를 가능하게 하지만, 여전히 효율성 격차가 존재합니다. 최적화 기반 분리 방법은 높은 정확도를 달성하지만 많은 계산량을 요구하는 반면, 최적화가 필요 없는 분리 방법은 효율적이지만 정확도가 낮습니다. 이러한 trade-off를 극복하기 위해, 본 논문에서는 전체 이미지 초기화를 통해 의미적 일관성과 특징 다양성을 보존하는 효율적인 파이프라인을 갖춘 간단하고 실용적인 방법인 Exploration--Exploitation Distillation (E²D)을 제안합니다. E²D는 먼저 균일한 업데이트를 수행하고 높은 손실 영역을 식별하는 탐색 단계와, 이 영역에 집중하여 업데이트를 수행하여 수렴 속도를 가속화하는 활용 단계를 사용합니다. E²D는 대규모 벤치마크에서 ImageNet-1K에서 최첨단 기술을 능가하며 18배 더 빠른 속도를 보였고, ImageNet-21K에서는 정확도를 크게 향상시키면서도 4.3배 더 빠른 속도를 유지했습니다. 이러한 결과는 무차별적인 최적화가 아닌, 목표 지향적이고 중복을 줄이는 업데이트가 대규모 데이터 증류에서 정확성과 효율성 간의 격차를 해소한다는 것을 보여줍니다. 코드: https://github.com/ncsu-dk-lab/E2D

Dataset distillation compresses the original data into compact synthetic datasets, reducing training time and storage while retaining model performance, enabling deployment under limited resources. Although recent decoupling-based distillation methods enable dataset distillation at large scale, they continue to face an efficiency gap: optimization-based decoupling methods achieve higher accuracy but demand intensive computation, whereas optimization-free decoupling methods are efficient but sacrifice accuracy. To overcome this trade-off, we propose Exploration--Exploitation Distillation (E$^2$D), a simple, practical method that minimizes redundant computation through an efficient pipeline that begins with full-image initialization to preserve semantic integrity and feature diversity. It then uses a two-phase optimization strategy: an exploration phase that performs uniform updates and identifies high-loss regions, and an exploitation phase that focuses updates on these regions to accelerate convergence. We evaluate E$^2$D on large-scale benchmarks, surpassing the state-of-the-art on ImageNet-1K while being $18\times$ faster, and on ImageNet-21K, our method substantially improves accuracy while remaining $4.3\times$ faster. These results demonstrate that targeted, redundancy-reducing updates, rather than brute-force optimization, bridge the gap between accuracy and efficiency in large-scale dataset distillation. Code is available at https://github.com/ncsu-dk-lab/E2D.