퓨-메디오이드: Few-Shot 지식 증류를 위한 매우 간단한 코어셋 선택 방법

Few-Medoids: An Embarrassingly Simple Coreset Selection Method for Few-Shot Knowledge Distillation

코어셋 선택은 효율적인 모델 학습을 위해 방대한 데이터 세트에서 작고 대표성이 높은 부분 집합을 식별하는 것을 목표로 합니다. 특히, 전체 규모의 사전 훈련된 교사 네트워크가 학생 네트워크에 정보를 제공하는 Few-Shot 지식 증류(KD) 환경에서도 이 문제는 여전히 어려운 과제입니다. 일반적인 샘플 선택 전략은 종종 랜덤 선택 기준을 능가하지 못합니다. 본 논문에서는 각 클래스의 중심점(평균 이미지)과 가장 가까운 샘플을 선택하는 매우 간단한 코어셋 선택 전략인 Few-Medoids를 소개합니다. 우리는 다양한 이미지 분류 문제를 다루는 네 개의 데이터 세트와 컨볼루션 및 트랜스포머 네트워크로 구성된 세 가지 교사-학생 모델 쌍에 대한 광범위한 KD 실험을 수행했습니다. 제안된 방법은 매우 간단하지만, 우리의 경험적 결과는 Few-Medoids가 일관되게 랜덤 선택 기준뿐만 아니라 다른 코어셋 선택 전략보다 우수한 성능을 보인다는 것을 나타냅니다. 따라서 우리는 Few-Medoids가 향후 코어셋 선택 연구에서 일반적으로 사용되는 기준(예: Herding 또는 k-center Greedy)의 대체 수단으로 활용될 수 있다고 생각합니다. 보고된 결과를 재현하기 위해, 저희는 코드를 https://github.com/CemilAndreiDilmac/Few-Shot-KD-Coreset 에서 공개적으로 제공합니다.

Coreset selection aims to identify a small and highly representative subset of a massive dataset for efficient model training. The problem remains challenging even in the few-shot knowledge distillation (KD) setup, where a full-scale pre-trained teacher informs the student network. Typical sample selection strategies often struggle to surpass the random selection baseline. In this paper, we showcase few-medoids, an embarrassingly simple coreset selection strategy that chooses the samples closest to the centroid (average image) of each class. We present extensive KD experiments on four datasets, covering a wide range of image classification problems, and three teacher-student model pairs, comprising both convolutional and transformer networks. Although the proposed method is embarrassingly simple, our empirical results indicate that few-medoids is able to consistently surpass the random selection baseline, as well as the other coreset selection strategies. We therefore consider that few-medoids can be used as a drop-in replacement for commonly-used baselines (e.g. herding or k-center Greedy), in future research on coreset selection. To reproduce the reported results, we publicly release our code at https://github.com/CemilAndreiDilmac/Few-Shot-KD-Coreset.