흐름 지도를 활용한 보상 안내를 통한 간편한 제어 방법: Flow Map Reward Guidance

How to Guide Your Flow: Few-Step Alignment via Flow Map Reward Guidance

생성 모델링에서 우리는 종종 미적 품질 또는 인간의 선호도와의 일치성과 같은 사용자 지정된 보상을 극대화하는 샘플을 생성하고자 하는데, 이를 '가이드(guidance)'라고 합니다. 기존 가이드 방법은 널리 사용되지만, 비용이 많이 드는 다중 입자, 다단계 방식이 필요하거나, 제대로 이해되지 않은 근사 방식을 사용합니다. 본 연구에서는 가이드를 결정론적 최적 제어 문제로 재정의하여, 기존 접근 방식을 포괄하는 계층적인 알고리즘을 제시합니다. 최적 해에서 '흐름 지도(flow map)'가 빠른 추론에 중요한 역할을 하는 객체로 자연스럽게 나타나는 것을 확인했습니다. 이러한 관찰을 바탕으로, 학습이 필요 없는 단일 경로 프레임워크인 '흐름 지도 보상 안내(Flow Map Reward Guidance, FMRG)'를 제안합니다. FMRG는 흐름 지도를 사용하여 흐름을 통합하고 안내하며, 텍스트-이미지 변환 작업에서 역문제, 스타일 변환, 인간 선호도 및 VLM 보상 측면에서 기존 방법과 동등하거나 더 나은 성능을 보이면서, 3개의 신경망 평가(NFE)로도 충분히 작동하여 기존 최고 성능 모델보다 최소한 10배 빠른 속도를 제공합니다.

In generative modeling, we often wish to produce samples that maximize a user-specified reward such as aesthetic quality or alignment with human preferences, a problem known as guidance. Despite their widespread use, existing guidance methods either require expensive multi-particle, many-step schemes or rely on poorly understood approximations. We reformulate guidance as a deterministic optimal control problem, yielding a hierarchy of algorithms that subsumes existing approaches at the coarsest level. We show that the flow map, an object of significant recent interest for its role in fast inference, arises naturally in the optimal solution. Based on this observation, we propose Flow Map Reward Guidance (FMRG): a training-free, single-trajectory framework that uses the flow map to both integrate and guide the flow. At text-to-image scale, FMRG matches or surpasses baselines across inverse problems, style transfer, human preferences, and VLM rewards with as few as 3 NFEs, giving at least an order-of-magnitude speedup in comparison to prior state of the art.