ResilPhase: 플러그 앤 플레이 위상 매핑 및 노이즈 저항성 대규모 경로 외삽을 통한 확산 모델 가속화

ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration

강력한 확산 모델의 채택은 상당한 추론 지연으로 인해 어려움을 겪고 있습니다. 최근의 '캐시 후 예측' 방식은 미분 기반 다항식을 사용하여 DiT(Denoising Diffusion Transformer)를 가속화하여 이러한 문제를 완화하지만, 높은 가속 비율에서 심각한 품질 저하가 발생합니다. 우리의 분석에 따르면 이는 다음과 같은 근본적인 원인 때문입니다. 즉, 연속적인 확산 경로와 일치하지 않고 수치적으로 불안정한 표현에 대한 이산 외삽을 수행하기 때문입니다. 따라서 가속화된 DiT는 누적된 공간 오류, 노이즈 증폭 및 고차 불안정성을 겪습니다. 따라서 우리는 가속화된 추론을 일반 미분 방정식(ODE) 공간에서의 안정적인 대규모 경로 외삽으로 재구성했습니다. 중간 특징을 예측하는 대신, 예측을 모델의 전역 드리프트(Global Drift, GD), 즉 전체 상태 변화와 일치시켜 특징 불일치 및 메모리 오버헤드를 제거합니다. 그러나 이러한 매끄러운 대규모 경로는 여전히 미분 오류에 취약합니다. 즉, 시간 방향으로의 고차 미분이 본질적으로 노이즈를 포함하기 때문입니다. 따라서 우리는 미분 기반 외삽의 불안정성과 근사 오류를 효과적으로 방지하는 미분-불변 바리센트 라그랑주 외삽기를 도입했습니다. 또한, 외삽 영역을 규제하여 진동성 오류의 성장을 억제하는 경계 위상 매핑(Bounded Phase Mapping)을 제안합니다. 이러한 요소들이 결합되어 노이즈 저항성 가속화 프레임워크인 ResilPhase를 구성합니다. FLUX.1-dev 및 HunyuanVideo에 대한 실험 결과는 공격적인 가속 비율에서도 최첨단 수준의 충실도를 보여줍니다.

The adoption of powerful diffusion models is hindered by their significant inference latency. Recent ``cache-then-forecast'' schemes alleviate this issue by accelerating DiTs using derivative-based polynomials, but they suffer from severe quality degradation at high acceleration ratios. Our analysis reveals its root cause: the discrete extrapolation performed on representations that are misaligned with the continuous diffusion trajectory and are numerically unstable. Thus, accelerated DiTs suffer from accumulated spatial errors, noisy derivative amplification, and high-order instability. We therefore reformulate accelerated inference as stable macro-trajectory extrapolation in ordinary differential equation (ODE) space. Instead of predicting intermediate features, we align forecasting with the model's Global Drift (GD), i.e., the end-to-end state evolution, thereby eliminating feature inconsistency and memory overhead. However, even this smooth macro-trajectory remains vulnerable to the derivative fallacy: its higher-order temporal derivatives are intrinsically noisy. Thus, we introduce a derivative-free barycentric Lagrange extrapolator to effectively bypass derivative instability and approximation error. We further propose a bounded Phase Mapping that regularizes the extrapolation domain, suppressing oscillatory error growth. These elements collectively constitute ResilPhase, a noise-resilient acceleration framework. Experiments on FLUX.1-dev and HunyuanVideo demonstrate state-of-the-art fidelity under aggressive acceleration ratios.