비그라디언트 벡터 흐름을 이용한 플로우 맵 학습

Flow Map Learning via Nongradient Vector Flow

확산 및 흐름 기반 모델은 간단한 회귀 손실 함수를 통해 이점을 얻지만, 추론 과정에서 샘플링이 필요하기 때문에 상당한 오버헤드가 발생합니다. 컨시스턴시 모델은 ODE 경로에 따른 플로우 맵을 직접 학습하여 이러한 문제를 해결하며, 이는 단일 단계 방식과 다중 단계 방식 사이의 설계 공간을 제공합니다. 그러나 기존 방법은 모델 역함수의 필요성 또는 반복적인 모델 호출을 통한 역전파와 같은 계산상의 어려움이 있으며, 항상 원하는 ODE 플로우 맵이 손실 함수의 해가 된다는 것을 증명하지 못합니다. 본 논문에서는 명시적인 가역성 제약 조건과 모델 반복에 따른 고가의 미분 연산을 우회하는 플로우 맵 학습 방법인 SGFlow를 소개합니다. SGFlow는 원하는 플로우 맵에서 정지점을 갖는 비보존 역학을 따르면서, ODE 해와 암시된 속도를 처음부터 계산하도록 모델을 학습합니다. CIFAR 이미지 데이터셋에 대한 실험 결과, 어떤 단일 방법도 모든 샘플링 단계 수에서 최고의 FID 값을 달성하지 못했습니다. SGFlow는 10개의 샘플링 단계에서 가장 우수한 FID 값을 얻었으며, 다른 샘플링 단계에서도 플로우 매칭, Meanflow 및 Lagrangian map matching과 경쟁력을 보였습니다. 또한 SGFlow는 stopgrad 기반의 역학에 대한 증명된 정지점 보장을 제공하는 유일한 방법입니다.

Diffusion and flow-based models benefit from simple regression losses, but inference incurs significant overhead because sampling requires integration. Consistency models address this by directly learning the flow maps along the ODE trajectory, opening a design space between one-step and many-step approaches. However, existing methods face computational challenges such as requiring model inverses or backpropagation through iterated model calls, and do not always prove that the desired ODE flow map is a solution to the loss. We introduce SGFlow, an approach for learning flow maps that bypasses explicit invertibility constraints and expensive differentiation through model iteration. SGFlow trains a model to compute both the ODE solutions and the implied velocity from scratch by following non-conservative dynamics with a stationary point at the desired flow map. On the CIFAR image benchmark, no single method attains the best FID at every step count: SGFlow attains the best FID at 10 sampling steps and remains competitive with flow matching, Meanflow, and Lagrangian map matching at other step counts, while being the only one with a proven stationary-point guarantee for its stopgrad-based dynamics.