최대 평균 불일치(MMD) 지침을 통한 확산 모델의 학습 불필요한 분포 적응

Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

사전 훈련된 확산 모델은 무조건적 및 조건부 샘플 생성을 위한 강력한 생성 모델로 부상했지만, 생성 결과가 종종 사용자별 대상 데이터의 특성과 달라지는 경향이 있습니다. 이러한 불일치는 특히 도메인 적응 작업에서 문제가 되는데, 이때는 제한된 참조 예제만 사용할 수 있으며 확산 모델을 재학습하는 것이 불가능하기 때문입니다. 기존의 추론 시간 지침 방법은 샘플링 경로를 조정할 수 있지만, 일반적으로 분류기 확률과 같은 대리 목표를 최적화하며 대상 분포와 직접적으로 일치시키지 않습니다. 본 논문에서는 학습이 필요 없는 메커니즘인 MMD 지침을 제안합니다. 이는 생성된 샘플과 참조 데이터 세트 간의 최대 평균 불일치(MMD) 값의 기울기를 사용하여 역 확산 프로세스를 보완합니다. MMD는 제한된 데이터로부터 신뢰할 수 있는 분포 추정치를 제공하며, 실제로는 낮은 분산을 보이고 효율적으로 미분 가능하므로 지침 작업에 특히 적합합니다. 제안하는 프레임워크는 제품 커널을 통해 조건부 생성 모델에서 프롬프트 정보를 활용한 적응으로 자연스럽게 확장될 수 있습니다. 또한, 지침이 LDM의 잠재 공간에서 적용되므로, 계산 효율성 있게 잠재 확산 모델(LDM)에 적용할 수 있습니다. 합성 데이터 및 실제 데이터 벤치마크 실험 결과, MMD 지침은 샘플 충실도를 유지하면서 분포 정렬을 달성할 수 있음을 보여줍니다.

Pre-trained diffusion models have emerged as powerful generative priors for both unconditional and conditional sample generation, yet their outputs often deviate from the characteristics of user-specific target data. Such mismatches are especially problematic in domain adaptation tasks, where only a few reference examples are available and retraining the diffusion model is infeasible. Existing inference-time guidance methods can adjust sampling trajectories, but they typically optimize surrogate objectives such as classifier likelihoods rather than directly aligning with the target distribution. We propose MMD Guidance, a training-free mechanism that augments the reverse diffusion process with gradients of the Maximum Mean Discrepancy (MMD) between generated samples and a reference dataset. MMD provides reliable distributional estimates from limited data, exhibits low variance in practice, and is efficiently differentiable, which makes it particularly well-suited for the guidance task. Our framework naturally extends to prompt-aware adaptation in conditional generation models via product kernels. Also, it can be applied with computational efficiency in latent diffusion models (LDMs), since guidance is applied in the latent space of the LDM. Experiments on synthetic and real-world benchmarks demonstrate that MMD Guidance can achieve distributional alignment while preserving sample fidelity.