AHPA: 적응적 계층적 사전 정렬을 위한 확산 트랜스포머

AHPA: Adaptive Hierarchical Prior Alignment for Diffusion Transformers

최근, 표현 정렬은 확산 트랜스포머 학습을 가속화하는 효과적인 방법론으로 부상했습니다. 기존의 정렬 방법들은 외부 비전 인코더, 내부 자기 표현 또는 VAE에서 파생된 특징을 사용하여 안내를 제공하더라도, 일반적으로 전체 노이즈 제거 과정 동안 고정된 감독 목표 또는 고정된 정렬 수준을 적용합니다. 우리는 이러한 시간 단계에 독립적인 정렬 방식이 최적이 아니라고 주장합니다. 왜냐하면 표현 감독의 유용한 정밀도는 신호 대 잡음비(SNR)에 따라 체계적으로 변하기 때문입니다. 높은 노이즈 환경에서는 확산 모델이 거친 의미론적 및 레이아웃 수준의 고정화로부터 더 큰 이점을 얻는 반면, 낮은 노이즈 환경에서는 훈련 신호가 공간적으로 상세하고 구조적으로 충실한 개선에 중점을 두어야 합니다. 이러한 비정상적인 정렬 동작은 정적 단일 수준 감독자에게 표현 불일치를 야기합니다. 이 문제를 해결하기 위해, 우리는 적응적 계층적 사전 정렬(AHPA)이라는 경량화된 정렬 프레임워크를 제안합니다. AHPA는 동결된 VAE 인코더에 자연스럽게 내재된 계층적 표현을 활용합니다. AHPA는 단일 압축된 잠재 변수만을 정렬 대상으로 사용하는 대신, 로컬 기하학 및 공간 위상에서부터 거친 의미론적 레이아웃에 이르기까지 다양한 수준의 사전 정보를 제공하는 다중 수준 VAE 특징을 추출합니다. 시간 단계에 조건화된 동적 라우터는 노이즈 제거 과정에 따라 이러한 계층적 사전 정보를 선택하고 가중치를 부여하여, 정렬 정밀도를 모델의 변화하는 학습 요구 사항에 맞게 동기화합니다. 광범위한 실험 결과, AHPA는 기준 모델보다 수렴 속도와 생성 품질을 향상시키며, 훈련 중에 외부 인코더 감독 없이 추가적인 추론 비용을 발생시키지 않습니다.

Representation alignment has recently emerged as an effective paradigm for accelerating Diffusion Transformer training. Despite their success, existing alignment methods typically impose a fixed supervision target or a fixed alignment granularity throughout the entire denoising trajectory, whether the guidance is provided by external vision encoders, internal self-representations, or VAE-derived features. We argue that such timestep-agnostic alignment is suboptimal because the useful granularity of representation supervision changes systematically with the signal-to-noise ratio. In high-noise regimes, diffusion models benefit more from coarse semantic and layout-level anchoring, whereas in low-noise regimes, the training signal should emphasize spatially detailed and structurally faithful refinement. This non-stationary alignment behavior creates a representational mismatch for static single-level supervisors. To address this issue, we propose Adaptive Hierarchical Prior Alignment (AHPA), a lightweight alignment framework that exploits the hierarchical representations naturally embedded in the frozen VAE encoder. Instead of using only a single compressed latent as the alignment target, AHPA extracts multi-level VAE features that provide complementary priors ranging from local geometry and spatial topology to coarse semantic layout. A timestep-conditioned Dynamic Router adaptively selects and weights these hierarchical priors along the denoising trajectory, thereby synchronizing the alignment granularity with the model's evolving training needs. Extensive experiments show that AHPA improves convergence and generation quality over baselines and incurs no additional inference cost while avoiding external encoder supervision during training.