부트스트랩 플로우 Q-러닝을 이용한 오프라인 강화 학습을 위한 빠르고 표현력이 뛰어난 정책 학습

Fast and Highly Expressive Policy Learning for Offline Reinforcement Learning via Bootstrapped Flow Q-Learning

확산 기반 Q-러닝은 오프라인 강화 학습의 강력한 패러다임으로 부상했지만, 다단계 노이즈 제거에 의존하기 때문에 훈련 및 추론 과정에서 계산 비용이 많이 들고 불안정합니다. 최근 확산 Q-러닝을 가속화하여 단일 단계 액션 생성을 가능하게 하는 시도들은 일반적으로 보조 네트워크, 정책 증류 또는 다단계 훈련을 도입하는데, 이는 종종 단순성, 안정성 또는 성능을 저해합니다. 이러한 한계점을 해결하기 위해, 우리는 부트스트랩 플로우 Q-러닝(BFQ)이라는 새로운 프레임워크를 소개합니다. BFQ는 보조 네트워크나 증류 절차 없이도 훈련 및 추론 과정에서 정확한 단일 단계 액션 생성을 가능하게 합니다. BFQ는 흐름 경로를 따라 이동 벡터를 분할하여 처리하는 방식을 채택합니다. 즉, 먼저 플로우 매칭의 주변 속도로부터 정확하게 추정할 수 있는 단거리 이동을 학습하고, 이러한 구성 요소를 사용하여 단일 단계에서 노이즈-액션 매핑을 직접 학습합니다. 이 방식은 다단계 노이즈 제거를 없애므로 훈련 절차가 훨씬 빠르고 간단하며 안정적입니다. 광범위한 D4RL 평가 결과, BFQ는 성능을 향상시키면서 다단계 확산 기반 모델과 비교하여 계산 비용을 크게 줄이는 것으로 나타났습니다. 이는 고성능 오프라인 강화 학습에서 단일 단계 액션 생성이 충분하다는 것을 보여줍니다.

Diffusion-based Q-learning has emerged as a powerful paradigm for offline reinforcement learning, but its reliance on multi-step denoising makes both training and inference computationally expensive and brittle. Recent efforts to accelerate diffusion Q-learning toward single-step action generation typically introduce auxiliary networks, policy distillation, or multi-phase training, which frequently compromise simplicity, stability, or performance. To address these limitations, we introduce Bootstrapped Flow Q-Learning (BFQ), a novel framework that enables accurate single-step action generation during both training and inference, without auxiliary networks or distillation procedures. BFQ adopts a divide-and-conquer view of the displacement vector along the flow path: it begins by learning short-range displacements that can be accurately estimated from the Flow Matching marginal velocity, and bootstraps these components to directly learn a noise-to-action mapping in a single step. This formulation eliminates multi-step denoising, resulting in a learning procedure that is substantially faster, simpler, and more robust. Extensive D4RL evaluations show that BFQ improves performance while significantly reducing computational cost compared to multi-step diffusion baselines, demonstrating that single-step action generation suffices for high-performance offline Reinforcement Learning.