사전 학습된 컴퓨터 비전 모델을 위한 폐쇄형 선형 탐색 데이터 증류

Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models

데이터 증류는 대규모 학습 데이터 세트를 소규모의 합성 데이터 세트로 압축하여, 이후 학습 성능을 유지하는 기술입니다. 기존 방법들은 주로 처음부터 네트워크를 학습하는 것을 목표로 하지만, 현대적인 컴퓨터 비전 학습에서는 종종 동결된 사전 학습된 인코더와 경량 선형 탐색(linear probing)을 함께 사용합니다. 이러한 환경에 대한 기존 증류 방법들은 반복적인 선형 탐색 업데이트를 사용하여 경로 기반 기울기 정렬을 수행하거나, 신경 텐서 커널(NTK) 근사를 활용한 폐쇄형 수식을 사용합니다. 하지만, 동결된 특징을 사용하는 선형 탐색은 사전 학습된 특징 자체에 의해 결정되는 폐쇄형 해를 가지며, 무한 폭 근사나 내부 루프 경로가 필요하지 않습니다. 본 논문에서는 폐쇄형 선형 탐색 데이터 증류(CLP-DD)라는 이분 수준(bilevel)의 프레임워크를 제안합니다. CLP-DD는 합성 데이터 세트에 의해 유도되는 선형 탐색을 계산하기 위해 샘플 공간 커널 리지 솔버를 사용합니다. 합성 이미지는 실제 특징에 대한 온도 스케일링된 소프트맥스 교차 엔트로피를 통해 계산된 유도 분류기를 사용하여 업데이트됩니다. 여기서 분류기 열은 특징 공간에서 학습된 클래스 앵커 역할을 합니다. 또한, 외부 목표 함수의 선택이 매우 중요하다는 것을 보여줍니다. 폐쇄형 내부 솔버와 표준 MSE 외부 손실을 함께 사용하면 경로 기반 방법보다 성능이 현저히 떨어지지만, 판별력 있는 외부 손실을 사용하면 상당 부분을 개선할 수 있습니다. ImageNet-100 데이터 세트에서 네 개의 사전 학습된 구조에 대해 CLP-DD는 DSA(Data-free Self-Attention)를 사용하지 않은 LGM(Linear-Probe Guided Mixture)보다 성능이 크게 향상되었으며, DSA를 사용한 LGM과 유사한 성능을 보이지만, 훨씬 적은 계산 비용으로 구현됩니다. ImageNet-1K 데이터 세트에서는 CLP-DD가 네 개의 구조 중 세 개에서 DSA를 사용한 LGM과 동등하거나 더 나은 성능을 보이며, 약 14배 더 빠른 속도로 실행되고 GPU 메모리 사용량은 1/8 미만입니다.

Dataset distillation compresses a large training set into a small synthetic set that preserves downstream training utility. While most existing methods target training networks from scratch, modern visual transfer learning often uses frozen pre-trained encoders followed by lightweight linear probing. Existing distillation methods for this setting either unroll iterative linear-probe updates with trajectory-based gradient matching, or rely on closed-form formulations originally designed for from-scratch training with neural-tangent-kernel (NTK) approximations. Neither route exploits the fact that frozen-feature linear probing admits a closed-form solution determined directly by the pre-trained features themselves, with no infinite-width approximation and no inner-loop trajectory. We propose Closed-Form Linear-Probe Dataset Distillation (CLP-DD), a bilevel formulation that computes the linear probe induced by the synthetic set with a sample-space kernel ridge solver. The synthetic images are then updated by evaluating this induced classifier on real features through a temperature-scaled softmax cross-entropy, where the classifier columns act as learned class anchors in feature space. We further show that the choice of outer objective is decisive: pairing the closed-form inner solver with a standard MSE outer loss substantially underperforms trajectory-based methods, while the discriminative outer loss closes most of the gap. On ImageNet-100 with four pre-trained backbones, CLP-DD substantially improves over LGM without DSA and approaches LGM with DSA at a fraction of the computational cost. On ImageNet-1K, CLP-DD matches or surpasses LGM with DSA on three of four backbones while running roughly $14\times$ faster and using less than one-eighth of the GPU memory.