플럭스 매칭을 이용한 생성 모델링

Generative Modeling with Flux Matching

본 논문에서는 새로운 생성 모델링 패러다임인 플럭스 매칭(Flux Matching)을 소개합니다. 플럭스 매칭은 기존의 스코어 기반 모델을 일반화하여, 보존적일 필요가 없는 다양한 벡터장에 적용할 수 있습니다. 기존 모델이 데이터 스코어와 일치해야 하는 제약 조건 대신, 플럭스 매칭은 더욱 약한 조건을 부과하여, 정지 분포가 데이터와 동일한 무한히 많은 벡터장을 허용합니다. 이러한 유연성은 기존 스코어 매칭으로는 학습할 수 없는 새로운 종류의 생성 모델을 가능하게 하며, 이를 통해 유도 편향, 구조적 사전 정보, 그리고 동역학적 특성을 직접 적용하거나 최적화할 수 있습니다. 실험 결과, 플럭스 매칭은 고차원 이미지 데이터셋에서 뛰어난 성능을 보였으며, 더욱 중요한 점은, 추가된 자유도가 빠른 샘플링, 해석 가능하고 메커니즘 기반 모델, 그리고 변수 간의 방향성 의존성을 나타내는 동역학과 같은 다양한 응용 분야를 가능하게 한다는 것입니다. 더 넓은 관점에서, 플럭스 매칭은 벡터장 자체를 고정된 목표가 아닌 설계 요소로 활용함으로써 생성 모델링의 새로운 가능성을 열어줍니다. 관련 코드는 https://github.com/peterpaohuang/flux_matching 에서 확인할 수 있습니다.

We introduce Flux Matching, a new paradigm for generative modeling that generalizes existing score-based models to a broader family of vector fields that need not be conservative. Rather than requiring the model to equal the data score, the Flux Matching objective imposes a weaker condition that admits infinitely many vector fields whose stationary distribution is the data. This flexibility enables a class of generative models that cannot be learned under score matching, in which inductive biases, structural priors, and properties of the dynamics can be directly imposed or optimized. We show that Flux Matching performs strongly on high-dimensional image datasets and, more importantly, that our added freedom unlocks a range of applications including faster sampling, interpretable and mechanistic models, and dynamics that encode directed dependencies between variables. More broadly, Flux Matching opens a new dimension in generative modeling by turning the vector field itself into a design choice rather than a fixed target. Code is available at https://github.com/peterpaohuang/flux_matching.