자기 지도 학습 기반 표현 가이드 생성 데이터 증류

Self-Supervised Representation-Guided Generative Dataset Distillation

데이터 증류는 대규모 학습 데이터를 소규모의 합성 데이터 세트로 압축하여, 하위 작업에서의 유용성을 유지하는 방법입니다. 기존 방식들은 대부분 무작위 초기화된 네트워크를 대상으로 하지만, 현대적인 시각 시스템은 종종 가벼운 모듈을 사용하여 미리 훈련된 인코더를 활용합니다. 따라서 증류된 샘플은 사전 훈련된 표현 공간의 판별력을 유지해야 하며, 이는 기존 생성 목표 함수들이 명시적으로 고려하지 못하는 부분입니다. 본 연구에서는 자기 지도 학습(SSL) 기반 표현 가이드 생성 데이터 증류(SRG)라는 프레임워크를 제안합니다. SRG는 SSL 지오메트리를 확산 모델의 가이드로 변환하며, 구체적으로 실제 이미지의 SSL 표현으로부터 클래스별 프로토타입을 구성하고, 프로토타입 정렬, 클래스 간 판별 및 클래스 내 할당을 위한 세 가지 SSL 공간 목표를 통해 가이딩을 수행합니다. 확산 샘플링 과정에서, SRG는 단계별 가이드 전략을 채택합니다. 초기 디노이징은 할당된 프로토타입에 가장 가까운 실제 이미지의 잠재 변수를 기준으로 이루어지며, 후기 디노이징은 SSL 공간 목표를 통해 안내됩니다. 이러한 방식은 생성 모델의 시각적 현실감을 유지하면서 샘플을 점진적으로 대표적이고 클래스 판별력이 높은 SSL 표현 공간 영역으로 이동시킵니다. SRG는 다양한 데이터 세트 및 IPC 설정에서 평가된 기존 생성 모델보다 우수한 성능을 보였습니다. 또한, 교차 인코더 평가는 사전 훈련된 표현 공간 간의 전이 가능성을 시사합니다. 이러한 결과들은 사전 훈련된 SSL 모델을 사용한 데이터 증류에서 표현 가이드 생성이 효과적임을 보여줍니다.

Dataset distillation compresses a large training set into a compact synthetic set while retaining its downstream utility. Most existing methods target randomly initialized networks, whereas modern vision systems often adapt frozen pretrained encoders with lightweight modules. Distilled samples should therefore preserve the discriminative geometry of the pretrained representation space, which existing generative objectives do not explicitly consider. We propose self-supervised representation-guided generative dataset distillation (SRG), a framework that translates the SSL geometry into diffusion guidance. Specifically, SRG constructs class-wise prototypes from real-image SSL representations and performs guidance through three SSL-space objectives for prototype alignment, inter-class discrimination, and intra-class assignment. During diffusion sampling, it adopts a stage-wise guidance strategy: early denoising is anchored to the latent of the real image whose SSL representation is nearest to the assigned prototype, whereas later denoising is guided by the SSL-space objectives. This division preserves the visual realism provided by the generative prior while progressively steering samples toward representative and class-discriminative regions of the SSL representation space. SRG consistently outperforms the evaluated generative baselines across multiple datasets and IPC settings. A cross-encoder evaluation further indicates transfer across pretrained representation spaces. These results demonstrate the effectiveness of representation-guided generation for dataset distillation with pretrained SSL models.