Lazy 및 점 질량 확률적 보간법을 이용한 흐름 및 확산 모델의 빠른 샘플링

Fast Sampling for Flows and Diffusions with Lazy and Point Mass Stochastic Interpolants

확률적 보간법은 인기 있는 생성 모델링 프레임워크인 흐름과 확산을 통합합니다. 이러한 방법의 주요 하이퍼파라미터는 표준 가우시안 기본 분포에서 임의의 대상 분포로의 연결을 결정하는 보간 스케줄입니다. 우리는 임의의 확산 계수를 갖는 확률 미분 방정식(SDE)의 샘플 경로를 임의의 다른 스케줄과 확산 계수를 갖는 고유한 샘플 경로로 변환하는 방법을 증명합니다. 그런 다음, 우리는 확률적 보간법 프레임워크를 확장하여 가우시안 기본 분포가 점 질량 분포로 붕괴되는 더 넓은 범위의 점 질량 스케줄을 허용합니다. 가우시안 데이터에 대한 가정을 바탕으로, 우리는 드리프트가 일정하게 0이 되는 'lazy' 스케줄 패밀리를 식별하고, 결정론적 샘플링을 사용하면 확산 모델에서 일반적으로 사용되는 분산 보존 스케줄을 얻을 수 있으며, 통계적으로 최적의 SDE 샘플링을 사용하면 우리의 점 질량 스케줄을 얻을 수 있음을 보여줍니다. 마지막으로, 우리의 이론적 결과가 실제의 비가우시안 데이터에 얼마나 유용한지 보여주기 위해, 우리는 우리의 'lazy' 스케줄 변환을 최첨단 사전 훈련된 흐름 모델에 적용하고, 모델을 재훈련하지 않고도 더 적은 단계로 이미지를 생성할 수 있음을 보여줍니다.

Stochastic interpolants unify flows and diffusions, popular generative modeling frameworks. A primary hyperparameter in these methods is the interpolation schedule that determines how to bridge a standard Gaussian base measure to an arbitrary target measure. We prove how to convert a sample path of a stochastic differential equation (SDE) with arbitrary diffusion coefficient under any schedule into the unique sample path under another arbitrary schedule and diffusion coefficient. We then extend the stochastic interpolant framework to admit a larger class of point mass schedules in which the Gaussian base measure collapses to a point mass measure. Under the assumption of Gaussian data, we identify lazy schedule families that make the drift identically zero and show that with deterministic sampling one gets a variance-preserving schedule commonly used in diffusion models, whereas with statistically optimal SDE sampling one gets our point mass schedule. Finally, to demonstrate the usefulness of our theoretical results on realistic highly non-Gaussian data, we apply our lazy schedule conversion to a state-of-the-art pretrained flow model and show that this allows for generating images in fewer steps without retraining the model.