효율적인 디퓨전 학습을 위한 정보 기반 노이즈 할당

Information-Guided Noise Allocation for Efficient Diffusion Training

디퓨전 모델 학습은 일반적으로 수동으로 조정된 노이즈 스케줄에 의존하는데, 이는 정보가 적은 노이즈 영역에 연산을 낭비하게 만들고 데이터셋, 해상도 및 표현 방식 간의 전이를 제한할 수 있습니다. 우리는 정보 이론적 관점에서 노이즈 스케줄 할당을 재검토하고, 기존 스케줄에서 최적이 아닌 노이즈 수준 할당을 식별하기 위한 이론적 근거를 갖춘 데이터 의존적 진단 도구로서 순방향 과정(forward process)의 조건부 엔트로피 율(conditional entropy rate)을 제안합니다. 이러한 통찰을 바탕으로, 우리는 휴리스틱한 스케줄 설계를 학습 중 이미 계산된 디노이징 손실(denoising losses)로부터 추정된 엔트로피 감소율에서 파생된 정보 기반 노이즈 샘플링 분포로 대체하는 원칙적인 데이터 적응형 학습 노이즈 스케줄인 InfoNoise를 소개합니다. 자연 이미지 벤치마크 전반에 걸쳐 InfoNoise는 조정된 EDM 스타일 스케줄과 대등하거나 이를 능가하며, 일부 경우 상당한 학습 속도 향상(CIFAR-10에서 약 1.4배)을 보여줍니다. 표준 이미지 맞춤형 스케줄이 상당한 불일치를 보이는 이산(discrete) 데이터셋에서는 최대 3배 적은 학습 단계만으로도 더 우수한 품질을 달성합니다. 전반적으로 InfoNoise는 노이즈 스케줄링을 데이터 적응형으로 만들어, 디퓨전 모델이 여러 도메인으로 확장될 때 데이터셋별로 스케줄을 설계해야 하는 필요성을 줄여줍니다.

Training diffusion models typically relies on manually tuned noise schedules, which can waste computation on weakly informative noise regions and limit transfer across datasets, resolutions, and representations. We revisit noise schedule allocation through an information-theoretic lens and propose the conditional entropy rate of the forward process as a theoretically grounded, data-dependent diagnostic for identifying suboptimal noise-level allocation in existing schedules. Based on these insight, we introduce InfoNoise, a principled data-adaptive training noise schedule that replaces heuristic schedule design with an information-guided noise sampling distribution derived from entropy-reduction rates estimated from denoising losses already computed during training. Across natural-image benchmarks, InfoNoise matches or surpasses tuned EDM-style schedules, in some cases with a substantial training speedup (about $1.4\times$ on CIFAR-10). On discrete datasets, where standard image-tuned schedules exhibit significant mismatch, it reaches superior quality in up to $3\times$ fewer training steps. Overall, InfoNoise makes noise scheduling data-adaptive, reducing the need for per-dataset schedule design as diffusion models expand across domains.