전경 정보 기반 데이터 증류: 동적 패치 선택을 통한 방법

Foreground-Aware Dataset Distillation via Dynamic Patch Selection

본 논문에서는 전경 정보를 활용하여 콘텐츠에 적응적으로 패치 선택을 개선하는 데이터 증류 방법을 제안합니다. 대규모 딥러닝 모델의 학습 비용이 증가함에 따라, 데이터 증류는 대규모 원본 데이터셋의 지식을 유지하면서도 작은 합성 데이터셋을 구축하는 유망한 방법으로 떠오르고 있습니다. 그러나 기존의 최적화 기반 방법은 종종 높은 계산 오버헤드, 메모리 제약, 그리고 제한적인 구조 일반화 성능으로 인해 비현실적이고 노이즈가 많은 이미지를 생성하는 단점이 있습니다. 최근의 비최적화 방법은 실제 이미지 패치를 사용하여 이러한 문제를 일부 완화하지만, 사용되는 경직된 패치 선택 전략은 여전히 주요 객체에 대한 중요한 정보를 손실시킬 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 먼저 Grounded SAM2를 활용하여 전경 객체를 식별하고 이미지별 전경 점유율을 계산합니다. 이를 통해 각 카테고리에 대한 패치 결정 임계값을 도출합니다. 이러한 임계값을 기반으로, 우리는 각 이미지에 대해 가장 유용한 패치를 여러 후보군에서 선택하거나, 전경이 우세한 경우에는 전체 이미지를 직접 조정하는 동적 패치 선택 전략을 설계했습니다. 이러한 이중 경로 메커니즘은 주요 객체에 대한 더 많은 핵심 정보를 보존하는 동시에 불필요한 배경 콘텐츠를 줄입니다. 여러 벤치마크에서 수행한 광범위한 실험 결과, 제안된 방법은 기존 방법보다 일관되게 증류 성능을 향상시키며, 더 유익하고 대표적인 증류 데이터셋을 생성하고 다양한 구조와 이미지 구성에 대한 강건성을 향상시킵니다.

In this paper, we propose a foreground-aware dataset distillation method that enhances patch selection in a content-adaptive manner. With the rising computational cost of training large-scale deep models, dataset distillation has emerged as a promising approach for constructing compact synthetic datasets that retain the knowledge of their large original counterparts. However, traditional optimization-based methods often suffer from high computational overhead, memory constraints, and the generation of unrealistic, noise-like images with limited architectural generalization. Recent non-optimization methods alleviate some of these issues by constructing distilled data from real image patches, but the used rigid patch selection strategies can still discard critical information about the main objects. To solve this problem, we first leverage Grounded SAM2 to identify foreground objects and compute per-image foreground occupancy, from which we derive a category-wise patch decision threshold. Guided by these thresholds, we design a dynamic patch selection strategy that, for each image, either selects the most informative patch from multiple candidates or directly resizes the full image when the foreground dominates. This dual-path mechanism preserves more key information about the main objects while reducing redundant background content. Extensive experiments on multiple benchmarks show that the proposed method consistently improves distillation performance over existing approaches, producing more informative and representative distilled datasets and enhancing robustness across different architectures and image compositions.