경로 안내 흐름 일치(Path-Guided Flow Matching)를 이용한 데이터 증류

Path-Guided Flow Matching for Dataset Distillation

데이터 증류는 대규모 데이터 세트를 학습 모델의 성능과 비교 가능한 소형 합성 데이터 세트로 압축하는 기술입니다. 최근 확산 모델 기반 증류 방법이 발전했지만, 이러한 방법은 일반적으로 휴리스틱 가이드 또는 프로토타입 할당에 의존하며, 이는 시간 소모적인 샘플링 및 경로 불안정성을 야기하여, 특히 강력한 제어 조건이나 낮은 이미지/파라미터 비율(IPC) 환경에서 하위 작업의 일반화 성능을 저해합니다. 본 연구에서는 생성 증류를 위한 최초의 흐름 일치 기반 프레임워크인 '경로 안내 흐름 일치(Path-Guided Flow Matching, PGFM)'를 제안합니다. PGFM은 몇 단계의 연산만으로 빠르고 결정적인 합성을 가능하게 하는 ODE(상미분 방정식)를 활용합니다. PGFM은 동결된 VAE(Variational Autoencoder)의 잠재 공간에서 가우시안 노이즈에서 데이터 분포로의 조건부 전송을 학습하기 위해 흐름 일치를 수행합니다. 특히, ODE와의 일관성을 유지하는 연속적인 경로-프로토타입 가이드 알고리즘을 개발하여, 경로가 할당된 프로토타입에 안정적으로 도달하도록 하면서 다양성과 효율성을 유지합니다. 고해상도 벤치마크를 대상으로 실시한 광범위한 실험 결과, PGFM은 기존의 확산 모델 기반 증류 방법과 유사하거나 뛰어넘는 성능을 보이면서, 샘플링 단계를 줄이고 효율성을 크게 향상시켰습니다. 예를 들어, PGFM은 확산 모델 기반 방법보다 7.6배 더 효율적이며, 78%의 모드 커버리지를 달성했습니다.

Dataset distillation compresses large datasets into compact synthetic sets with comparable performance in training models. Despite recent progress on diffusion-based distillation, this type of method typically depends on heuristic guidance or prototype assignment, which comes with time-consuming sampling and trajectory instability and thus hurts downstream generalization especially under strong control or low IPC. We propose \emph{Path-Guided Flow Matching (PGFM)}, the first flow matching-based framework for generative distillation, which enables fast deterministic synthesis by solving an ODE in a few steps. PGFM conducts flow matching in the latent space of a frozen VAE to learn class-conditional transport from Gaussian noise to data distribution. Particularly, we develop a continuous path-to-prototype guidance algorithm for ODE-consistent path control, which allows trajectories to reliably land on assigned prototypes while preserving diversity and efficiency. Extensive experiments across high-resolution benchmarks demonstrate that PGFM matches or surpasses prior diffusion-based distillation approaches with fewer steps of sampling while delivering competitive performance with remarkably improved efficiency, e.g., 7.6$\times$ more efficient than the diffusion-based counterparts with 78\% mode coverage.