플로우 샘플링: 디노이징 조건 프로세스를 통해 정규화되지 않은 분포로부터 샘플링하는 방법

Flow Sampling: Learning to Sample from Unnormalized Densities via Denoising Conditional Processes

정규화되지 않은 분포로부터 샘플링하는 것은 생성 모델링 문제와 유사하지만, 목표 분포는 데이터 샘플 대신 알려진 에너지 함수로 정의됩니다. 에너지 함수를 평가하는 데 드는 비용이 높은 경우가 많으므로, 효율적인 샘플러를 학습하는 것이 주요 과제입니다. 본 논문에서는 데이터 없이 사용할 수 있는 플로우 샘플링(Flow Sampling)이라는 프레임워크를 제시합니다. 이 프레임워크는 확산 모델(diffusion model)과 플로우 매칭(flow matching)을 기반으로 하며, 학습 목표는 노이즈 샘플에 조건을 부여하고 에너지 함수로부터 구성된 디노이징 확산 드리프트(denoising diffusion drift)로 회귀하도록 설정합니다. 반대로, 일반적인 확산 모델의 학습 목표는 데이터 샘플에 조건을 부여하고 노이징 확산 드리프트로 회귀하도록 설정합니다. 우리는 학습 과정에서 에너지 함수 평가 횟수를 최소화하기 위해 보간(interpolation) 프로세스를 사용하며, 이를 통해 정규화되지 않은 분포로부터 효율적이고 확장 가능한 샘플링 방법을 제공합니다. 또한, 우리의 제안은 리만 다양체(Riemannian manifold)로 자연스럽게 확장되어 유클리드 공간을 넘어선 다양한 기하학적 공간에서의 확산 기반 샘플링을 가능하게 합니다. 우리는 일정한 곡률을 갖는 다양체(예: 초구, 쌍곡선 공간)에 대한 조건부 드리프트의 닫힌 형태 공식을 유도했습니다. 우리는 플로우 샘플링을 합성 에너지 벤치마크, 작은 펩타이드, 대규모 암모티즈 분자 구조 생성, 그리고 구 표면에 정의된 분포에 적용하여 우수한 실험적 성능을 입증했습니다.

Sampling from unnormalized densities is analogous to the generative modeling problem, but the target distribution is defined by a known energy function instead of data samples. Because evaluating the energy function is often costly, a primary challenge is to learn an efficient sampler. We introduce Flow Sampling, a framework built on diffusion models and flow matching for the data-free setting. Our training objective is conditioned on a noise sample and regresses onto a denoising diffusion drift constructed from the energy function. In contrast, diffusion models' objective is conditioned on a data sample and regresses onto a noising diffusion drift. We utilize the interpolant process to minimize the number of energy function evaluations during training, resulting in an efficient and scalable method for sampling unnormalized densities. Furthermore, our formulation naturally extends to Riemannian manifolds, enabling diffusion-based sampling in geometries beyond Euclidean space. We derive a closed-form formula for the conditional drift on constant curvature manifolds, including hyperspheres and hyperbolic spaces. We evaluate Flow Sampling on synthetic energy benchmarks, small peptides, large-scale amortized molecular conformer generation, and distributions supported on the sphere, demonstrating strong empirical performance.