가속화를 위한 반대: 확산 특징 예측의 폐쇄 루프 시스템 구축

Disagree to Accelerate: Closing the Loop on Diffusion Feature Forecasts

훈련 없이 특징을 예측하여 디노이징 단계를 건너뛰는 방식으로, 이는 확산 샘플링 속도를 가속화합니다. 최근 연구에서는 주로 더 강력한 예측 모델 설계에 집중해 왔습니다. 그러나 예측 오차는 단계별로 크게 달라지며, 개방형 캐시는 모든 건너뛴 단계에서 예측 결과를 완전히 신뢰합니다. 이러한 고정된 신뢰 수준은 가속화가 공격적으로 진행될 때 문제가 발생합니다. 중요한 질문은 단순히 더 나은 예측을 하는 방법뿐만 아니라, 언제 얼마나 예측 결과에 신뢰해야 하는가입니다. 우리는 신뢰도를 캐시 자체에서 관찰할 수 있음을 보여줍니다. 특징 궤적이 매끄러운 곳에서는 두 개의 예측 결과가 일치하지만, 예측이 어려워지는 곳에서는 두 예측 결과가 달라집니다. 이러한 불일치는 저렴한 런타임 신호이며, 추가적인 디노이저 평가 비용이 들지 않습니다. 이 신호를 기반으로, 우리는 훈련 없이 작동하는 폐쇄 루프 제어 시스템인 RACER를 개발했습니다. RACER는 두 가지 방식으로 작동하며, 불확실한 예측 결과를 지속적으로 마지막으로 계산된 특징 값 쪽으로 수렴시킵니다. 가장 위험한 단계에서는 RACER가 특징을 재계산하고 추가적인 평가 비용을 보상하기 위해 나중에 예정된 디노이징 단계를 건너뜁니다. 우리는 이러한 수렴 과정에 대한 결정론적 오차 경계를 도출했으며, 다양한 가속화 환경에서 그 유효성과 정확성을 실험적으로 검증했습니다. 동일한 수의 디노이저 평가 횟수로, RACER는 SD3.5-Large, FLUX.1-dev, Wan2.1-14B 및 HunyuanVideo 모델을 DrawBench, VBench 및 COCO 데이터셋에서 사용할 때 가장 강력한 개방형 기준 성능을 능가합니다. 또한, SD3.5 모델에서 RACER는 동일한 품질로 더 빠른 샘플링 속도를 제공함을 보여줍니다. RACER는 다양한 예측 모델 설계에 적용 가능합니다. 예를 들어, Taylor 기반 모델에서 손실되는 품질의 상당 부분을 복구할 수 있습니다. 이러한 결과는 신뢰할 수 있는 확산 가속화가 예측 결과의 활용 방식에 달려 있음을 시사합니다. 코드: https://github.com/LiZaiyuan0619/RACER

Training-free feature forecasting accelerates diffusion sampling by predicting features at skipped denoising steps. Recent work has mainly focused on designing stronger forecasters. Yet forecast error varies sharply across steps, and open-loop caches trust the forecast in full at every skipped step. This fixed trust is what breaks as acceleration turns aggressive. The missing question is not only how to forecast better, but when and how much to trust a forecast. We show that reliability can be observed from the cache itself. Two forecasts agree where the feature trajectory is smooth, and they diverge where prediction turns hard. Their disagreement is a cheap runtime signal, and it costs no extra denoiser evaluation. Based on this signal, we introduce RACER, a training-free closed-loop controller with two responses. It continuously shrinks uncertain forecasts toward the last computed feature. At the riskiest steps, RACER refreshes the feature and repays the added evaluation by skipping a later scheduled one. We derive a deterministic error bound for the shrinkage and empirically evaluate its validity and tightness across acceleration regimes. At the same number of denoiser evaluations, RACER improves the strongest open-loop baseline across SD3.5-Large, FLUX.1-dev, Wan2.1-14B, and HunyuanVideo on DrawBench, VBench, and COCO. On SD3.5, we further show that RACER samples faster at equal quality. RACER generalizes across forecasting designs as well. For example, it recovers much of the quality lost on a Taylor base. These results show that reliable diffusion acceleration also depends on how forecasts are used. Code is available at https://github.com/LiZaiyuan0619/RACER