제프리 가이던스를 활용한 확산 모델 제어의 일반화 방안 연구

Towards More General Control of Diffusion Models Using Jeffrey Guidance

확산 모델의 주요 강점은 샘플링 시에 출력 결과를 제어할 수 있다는 유연성에 있습니다. 그러나 조건부 샘플링과 같은 간단한 경우 외에도, 목표 분포는 종종 명시적으로 정의되지 않고, 샘플링 규칙이나 휴리스틱 에너지 함수를 통해 간접적으로 정의됩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 표준 가이던스가 표현할 수 있는 범위를 넘어 확산 모델 제어를 확장하는 체계적인 프레임워크인 제프리 가이던스를 제안합니다. 제프리 가이던스는 조건부 구조를 유지하고 결합 분포에 미치는 영향을 최소화하면서, 목표 분포에 맞게 주변 분포를 업데이트하기 위해 제프리의 조건부 규칙을 활용합니다. 먼저, 우리는 제프리 가이던스를 사용하여 미리 정의된 임베딩 분포를 대상으로 하는 실험을 수행했습니다. Inception 임베딩을 목표로 설정했을 때, CIFAR-10 및 FFHQ 데이터셋에서 FID (Fréchet Inception Distance) 값이 크게 감소하는 것을 확인했습니다. 또한, 우리는 제프리 가이던스를 사용하여 CelebA-HQ 데이터셋의 공정성을 개선하고, 무조건적인 확산 모델을 업데이트하여 속성 간의 독립성을 강화하는 실험을 수행했습니다.

A key strength of diffusion models lies in their flexibility, since their outputs can be controlled at sampling time through guidance. However, beyond simple cases such as conditional sampling, the target distribution is often left implicit, defined only through a sampling rule or a heuristic energy function. To address this, we propose Jeffrey guidance, a principled framework that extends diffusion-model control to applications beyond what standard guidance can express. It leverages Jeffrey's rule of conditioning to update marginal distributions towards a prescribed target, preserving the conditional structure and minimally perturbing the joint distribution. We first demonstrate Jeffrey guidance by targeting a prescribed embedding distribution. With Inception embeddings as the target, this leads to substantial reductions in FID on both CIFAR-10 and FFHQ. We further apply Jeffrey guidance to fairness on CelebA-HQ, updating an unconditional diffusion model to enforce independence between attributes.