경사 흐름 드리프팅: 커널 밀도 추정 기반 발산의 와테르슈타인 경사 흐름을 이용한 생성 모델링

Gradient Flow Drifting: Generative Modeling via Wasserstein Gradient Flows of KDE-Approximated Divergences

본 논문에서는 '경사 흐름 드리프팅(Gradient Flow Drifting)'이라고 명명된 새로운 종류의 생성 모델에 대한 정교한 수학적 프레임워크를 제시합니다. 이 프레임워크를 통해, 최근 제안된 드리프팅 모델과 커널 밀도 추정(KDE)을 통해 근사화된 순방향 KL 발산의 와테르슈타인 경사 흐름 간의 동등성을 증명합니다. 구체적으로, 드리프팅 모델의 드리프팅 필드는, 특정 대역폭 제곱 스케일링 인자를 제외하고, KDE 로그 밀도 경사도의 차이인 $ abla ext{log } p_{ ext{kde}} - abla ext{log } q_{ ext{kde}}$와 동일하며, 이는 KDE를 통해 근사화된 밀도를 사용하는 와테르슈타인-2 경사 흐름의 입자 속도 필드와 정확히 일치합니다. 또한, 이 광범위한 생성 모델 패밀리는 MMD 기반 생성기를 포함할 수 있으며, 이는 다양한 발산의 와테르슈타인 경사 흐름의 특수한 경우로 나타납니다. 본 논문에서는 간결한 식별 가능성 증명과 이론적으로 뒷받침된 혼합 발산 전략을 제시합니다. 역 KL 발산과 $χ^2$ 발산 경사 흐름을 결합하여 모드 붕괴와 모드 흐림을 동시에 방지하고, 이 방법을 리만 다양체로 확장하여 커널 함수의 제약을 완화하고, 의미 공간에 더 적합하도록 합니다. 합성 벤치마크에 대한 예비 실험 결과는 제시된 프레임워크를 검증합니다.

We reveal a precise mathematical framework about a new family of generative models which we call Gradient Flow Drifting. With this framework, we prove an equivalence between the recently proposed Drifting Model and the Wasserstein gradient flow of the forward KL divergence under kernel density estimation (KDE) approximation. Specifically, we prove that the drifting field of drifting model (arXiv:2602.04770) equals, up to a bandwidth-squared scaling factor, the difference of KDE log-density gradients $\nabla \log p_{\mathrm{kde}} - \nabla \log q_{\mathrm{kde}}$, which is exactly the particle velocity field of the Wasserstein-2 gradient flow of $KL(q\|p)$ with KDE-approximated densities. Besides that, this broad family of generative models can also include MMD-based generators, which arises as special cases of Wasserstein gradient flows of different divergences under KDE approximation. We provide a concise identifiability proof, and a theoretically grounded mixed-divergence strategy. We combine reverse KL and $χ^2$ divergence gradient flows to simultaneously avoid mode collapse and mode blurring, and extend this method onto Riemannian manifold which loosens the constraints on the kernel function, and makes this method more suitable for the semantic space. Preliminary experiments on synthetic benchmarks validate the framework.