희소 감독(Sparse Supervision) 기반 확산 모델

Sparsely Supervised Diffusion

확산 모델은 다양한 생성 작업에서 뛰어난 성능을 보여주었습니다. 그러나 이러한 모델들은 종종 공간적으로 일관되지 않은 결과를 생성하는 경향이 있는데, 이는 모델의 노이즈 제거 메커니즘의 고유한 지역성(locality) 때문일 수 있습니다. 이로 인해 국지적으로는 타당하지만 전체적으로는 일관성이 없는 샘플이 생성될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 확산 모델에 대한 희소 감독 학습 방법을 제안합니다. 이는 간단하면서도 효과적인 마스킹(masking) 전략으로, 몇 줄의 코드만으로 구현할 수 있습니다. 흥미롭게도, 실험 결과는 확산 모델 학습 시 최대 98%의 픽셀까지 마스킹하는 것이 안전하다는 것을 보여줍니다. 제안하는 방법은 다양한 실험에서 경쟁력 있는 FID 점수를 달성하며, 무엇보다 중요한 점은 작은 데이터셋에서도 학습 불안정을 피할 수 있습니다. 또한, 마스킹 전략은 모델의 암기(memorization)를 줄이고, 생성 과정에서 필수적인 문맥 정보를 활용하도록 유도합니다.

Diffusion models have shown remarkable success across a wide range of generative tasks. However, they often suffer from spatially inconsistent generation, arguably due to the inherent locality of their denoising mechanisms. This can yield samples that are locally plausible but globally inconsistent. To mitigate this issue, we propose sparsely supervised learning for diffusion models, a simple yet effective masking strategy that can be implemented with only a few lines of code. Interestingly, the experiments show that it is safe to mask up to 98\% of pixels during diffusion model training. Our method delivers competitive FID scores across experiments and, most importantly, avoids training instability on small datasets. Moreover, the masking strategy reduces memorization and promotes the use of essential contextual information during generation.