난이도 기반 샘플링: 데이터 증류와 하위 작업 간의 목표 격차 해소

Difficulty-guided Sampling: Bridging the Target Gap between Dataset Distillation and Downstream Tasks

본 논문에서는 데이터 증류의 성능을 향상시키기 위해, 데이터 증류의 목표와 하위 작업 간의 목표 격차를 해소하는 난이도 기반 샘플링(DGS) 방법을 제안합니다. 심층 신경망은 뛰어난 성능을 보이지만, 훈련 과정에 많은 시간과 저장 공간이 필요합니다. 데이터 증류는 효과적인 모델 훈련을 가능하게 하면서도 하위 작업 성능을 유지하는, 작고 고품질의 증류 데이터셋을 생성하는 것을 목표로 합니다. 기존 방법은 일반적으로 원본 데이터셋에서 추출된 특징에 초점을 맞추어, 하위 작업에 특화된 정보를 간과하게 되어 데이터 증류 목표와 하위 작업 간의 목표 격차가 발생합니다. 본 논문에서는 하위 작업 훈련에 도움이 되는 특징을 데이터 증류에 활용하여 이러한 격차를 해소하고자 합니다. 이미지 분류라는 하위 작업을 중심으로, 난이도 개념을 도입하고, DGS를 플러그인 방식으로 적용할 수 있는 후처리 샘플링 모듈로 제안합니다. 특정 목표 난이도 분포를 따르도록, 기존 방법으로 생성된 이미지 풀에서 최종 증류 데이터셋을 샘플링합니다. 또한, 데이터 생성 과정에서 난이도의 영향을 탐색하기 위해 난이도 기반 지침(DAG)을 제안합니다. 다양한 환경에서의 광범위한 실험을 통해 제안된 방법의 효과성을 입증했으며, 난이도가 다양한 하위 작업에 적용될 수 있는 가능성을 보여줍니다.

In this paper, we propose difficulty-guided sampling (DGS) to bridge the target gap between the distillation objective and the downstream task, therefore improving the performance of dataset distillation. Deep neural networks achieve remarkable performance but have time and storage-consuming training processes. Dataset distillation is proposed to generate compact, high-quality distilled datasets, enabling effective model training while maintaining downstream performance. Existing approaches typically focus on features extracted from the original dataset, overlooking task-specific information, which leads to a target gap between the distillation objective and the downstream task. We propose leveraging characteristics that benefit the downstream training into data distillation to bridge this gap. Focusing on the downstream task of image classification, we introduce the concept of difficulty and propose DGS as a plug-in post-stage sampling module. Following the specific target difficulty distribution, the final distilled dataset is sampled from image pools generated by existing methods. We also propose difficulty-aware guidance (DAG) to explore the effect of difficulty in the generation process. Extensive experiments across multiple settings demonstrate the effectiveness of the proposed methods. It also highlights the broader potential of difficulty for diverse downstream tasks.