GDSD: 확산 언어 모델을 위한 가이드형 디노이징 셀프-디스틸레이션, 강화 학습 기반

GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models

강화 학습(RL)은 확산 거대 언어 모델(dLLM)의 정책(디노이저)을 개선하는 데 사용될 수 있지만, 정책 확률의 계산 복잡성으로 인해 어려움이 있습니다. 널리 사용되는 효율적인 방법들은 표준 RL에서 확률 대신, 무작위로 마스크된 시퀀스에서 추정된 증거 하한(ELBO)을 사용하여 확률을 근사합니다. 이러한 접근 방식은 사전 학습과 잘 일치하지만, ELBO를 확률의 대용량으로 사용하는 과정에서 훈련-추론 불일치를 유발하여 편향을 도입하고 성능 저하를 초래할 수 있습니다. 본 연구에서는 역방향 KL 정규화된 RL의 폐쇄형 최적 해로부터 파생된 어드밴티지 기반 셀프-티처로부터 dLLM의 디노이저를 직접적으로 증류하는 Guided Denoiser Self-Distillation (GDSD) 방법을 제안합니다. GDSD는 정상화 없이 목표 함수를 사용하여 dLLM의 디노이저 로짓을 티처의 로짓에 매칭하여, RL을 확률 기반이 아닌 셀프-디스틸레이션으로 변환하고 TIM 편향을 회피합니다. 최근의 ELBO 기반 방법들은 다양한 증류 거리 측정 방법을 적용한 사례로 볼 수 있지만, GDSD에서 피하는 진단 가능한 문제점을 가지고 있습니다. LLaDA-8B 및 Dream-7B 모델을 사용하여 수행된 계획, 수학, 코딩 벤치마크 테스트에서 GDSD는 기존의 최첨단 ELBO 기반 방법보다 일관되게 우수한 성능을 보였으며, 더 안정적인 학습 보상 동역학을 달성하여 최대 +19.6%의 테스트 정확도 향상을 보였습니다. 이러한 결과는 ELBO 확률 대용량에 의존하지 않고 직접 디노이저 셀프-디스틸레이션을 수행하는 것이 dLLM에 대한 더욱 안정적이고 효과적인 RL 절차를 제공할 수 있음을 시사합니다. 코드: https://github.com/GaryBall/GDSD

Reinforcement learning (RL) can be used to improve the policy (denoiser) of diffusion large language models (dLLMs), while being hindered by the intractability of the policy likelihood. A dominant and efficient family of methods replaces the likelihood in standard RL with its evidence lower bound (ELBO), estimated from randomly masked sequences. Despite being well aligned with pre-training, these approaches introduce bias through training--inference mismatch by using the ELBO as a likelihood surrogate, which can degrade performance. In this work, we propose Guided Denoiser Self-Distillation (GDSD) to directly distill the denoiser of dLLMs from an advantage-guided self-teacher, derived from the closed-form optimum of reverse-KL regularized RL. GDSD matches the dLLM's denoiser logits to the teacher's via a normalization-free objective, which reduces RL to likelihood-free self-distillation and thus bypasses the TIM biases. Recent ELBO-based methods emerge as instances of applying different distillation divergences, but with diagnosable pathologies that GDSD avoids. On planning, math, and coding benchmarks with LLaDA-8B and Dream-7B, GDSD consistently outperforms prior state-of-the-art ELBO-based methods with a more stable training reward dynamics, achieving test-accuracy improvements of up to $+19.6\%$. These results suggest that direct denoiser self-distillation, without relying on an ELBO likelihood surrogate, can provide a more stable and effective RL procedure for dLLMs. Code is available at https://github.com/GaryBall/GDSD.