드리프팅 모델과 점수 기반 모델에 대한 통합적 관점

A Unified View of Drifting and Score-Based Models

드리프팅 모델은 데이터와 모델 분포 간의 커널에 의해 유도되는 평균 이동 불일치를 최적화하여 단일 단계 생성기를 학습합니다. 일반적으로 실습에서는 라플라스 커널이 사용됩니다. 각 지점에서 이 불일치는 커널 가중 이동이 근처의 데이터 샘플 방향과 근처의 모델 샘플 방향으로의 이동을 비교하여 생성된 샘플의 이동 방향을 결정합니다. 본 논문에서는 드리프팅 모델이 확산 모델의 핵심인 점수 매칭 원리와의 관계를 명확히 하기 위해, 드리프팅이 커널로 평활화된 분포에서 점수 기반 형식을 갖는다는 것을 보여줍니다. 가우시안 커널의 경우, 모집단 평균 이동장은 가우시안으로 평활화된 데이터와 모델 분포 간의 점수 차이와 일치합니다. 이 동일성은 가우시안으로 평활화된 밀도의 점수를 해당 조건부 평균과 연결하는 트위디 공식에서 파생되며, 이는 가우시안 커널 드리프팅이 평활화된 분포에서 점수 매칭 스타일의 목적 함수임을 의미합니다. 또한, 이는 분포 매칭 증류(DMD)와의 연관성을 명확히 합니다. 두 방법 모두 점수 불일치 이동 방향을 사용하지만, 드리프팅은 커널 이웃에서 비모수적으로 점수 신호를 구현하는 반면, DMD는 사전 학습된 확산 모델을 사용합니다. 가우시안 분포를 넘어, 일반적인 방사형 커널에 대한 정확한 분해를 유도하고, 라플라스 커널의 경우 엄격한 오류 경계를 증명하여, 드리프팅이 저온 및 고차원 영역에서 점수 매칭의 정확한 근사치를 유지한다는 것을 보여줍니다.

Drifting models train one-step generators by optimizing a mean-shift discrepancy induced by a kernel between the data and model distributions, with Laplace kernels used by default in practice. At each point, this discrepancy compares the kernel-weighted displacement toward nearby data samples with the corresponding displacement toward nearby model samples, yielding a transport direction for generated samples. In this paper, we make its relationship to the score-matching principle behind diffusion models precise by showing that drifting admits a score-based formulation on kernel-smoothed distributions. For Gaussian kernels, the population mean-shift field coincides with the score difference between the Gaussian-smoothed data and model distributions. This identity follows from Tweedie's formula, which links the score of a Gaussian-smoothed density to the corresponding conditional mean, and implies that Gaussian-kernel drifting is exactly a score-matching-style objective on smoothed distributions. It also clarifies the connection to Distribution Matching Distillation (DMD): both methods use score-mismatch transport directions, but drifting realizes the score signal nonparametrically from kernel neighborhoods, whereas DMD uses a pretrained diffusion teacher. Beyond Gaussians, we derive an exact decomposition for general radial kernels, and for the Laplace kernel we prove rigorous error bounds showing that drifting remains an accurate proxy for score matching in low-temperature and high-dimensional regimes.