salient-driven 프로토타입 정렬 기반 데이터 증류

Dataset Distillation Based on Saliency-Driven Prototype Alignment

데이터 증류는 전체 데이터를 사용한 학습과 유사한 성능을 달성하면서도 계산 및 저장 비용을 크게 줄일 수 있는 간결한 데이터셋을 생성하는 것을 목표로 합니다. 그러나 확산 모델(diffusion-based) 기반의 증류 방법은 종종 구조적 일관성과 일반화 능력을 유지하는 데 어려움을 겪으며, 특히 시각적으로 복잡한 영역에서 이러한 문제가 두드러집니다. 이는 종종 클래스 구별 영역과 약하게 정렬되고 관련 없는 배경 잡음으로 오염된 잠재 프로토타입(latent prototype)에서 비롯되어 생성 품질과 일반화 능력을 저하시킵니다. 이러한 제한 사항을 해결하기 위해, 우리는 대표성을 높이고 일반화 능력을 향상시키는 클래스 구별 잠재 프로토타입을 구축하는 saliency-driven 증류 프레임워크를 제안합니다. 이 프레임워크는 두 단계로 진행됩니다: (1) ensemble Grad-CAM++ saliency를 사용하여 클래스 구별 영역을 강조하는 프로토타입을 구성하고, (2) 어려운(challenging) 동시에 클래스와 일관성을 유지하는 프로토타입을 구축하기 위해 hard-prototype refinement을 적용하여 구분 능력과 다양성을 향상시킵니다. 중요한 점은 확산 모델의 기본 구조(예: LDM 및 DiT)는 고정되어 있으며, saliency 추출에 사용되는 경량 분류기만 학습됩니다. 여러 벤치마크에서 수행된 광범위한 실험 결과, 제안하는 방법이 강력한 기준 모델보다 일관되게 성능 향상을 보여줍니다. 코드는 공개될 예정입니다.

Dataset distillation aims to synthesize compact datasets that can approximate the performance of full-data training while significantly reducing computational and storage costs. However, diffusion-based distillation methods often struggle to preserve structural coherence and generalization, especially in visually complex domains. This issue often stems from latent prototypes that are weakly aligned with class-discriminative regions and contaminated by irrelevant background, thereby degrading generation quality and generalization. To address this limitation, we propose a saliency-driven distillation framework that constructs class-discriminative latent prototypes to enhance representativeness and generalization. The framework proceeds in two stages: (1) ensemble Grad-CAM++ saliency is used to construct prototypes emphasizing class-discriminative regions, and (2) hard-prototype refinement is then applied to construct challenging yet class-consistent prototypes, thereby enhancing discriminability and diversity. Importantly, the diffusion backbones (e.g., LDM and DiT) remain frozen; only lightweight classifiers used for saliency extraction are trained. Extensive experiments across multiple benchmarks demonstrate consistent performance improvements over strong baselines. Code will be released.