두 가지 온도: 확산 언어 모델에서의 간단하고 효율적인 다양한 샘플링 방법

A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models

확산 언어 모델(dLLM)에서 빠르고 정확한 샘플링을 설계하는 연구가 많이 진행되었지만, 이러한 노력은 대부분 개별 샘플의 속도와 품질 사이의 균형에 초점을 맞추고 있습니다. 샘플 간의 다양성을 어떻게 추가적으로 확보할 것인지는 아직 잘 알려져 있지 않습니다. 본 논문에서는 익숙한 신뢰 기반 리마스킹 휴리스틱의 부드럽게 조정된 버전을 사용하면 다양성을 높일 수 있으며, 계산상의 이점을 유지하고 간단한 구현을 제공한다는 것을 보여줍니다. 우리는 분기 토큰에 대한 이상화된 형식 모델을 소개하고 리마스킹이 분기점에서 예상되는 엔트로피에 미치는 영향을 연구하여 이러한 접근 방식을 설명합니다. 실험적으로, 제안된 조정된 휴리스틱은 기존의 신뢰 기반 및 자기 회귀 샘플링 간의 탐색 격차(pass@k)를 줄여, 비용(pass@NFE)을 고려할 때 두 가지 모두보다 우수한 성능을 보입니다. 또한 다양성 증가가 다운스트림 후속 학습 및 테스트 시간 계산 확장으로 어떻게 이어지는지 연구합니다. 전반적으로, 본 논문의 결과는 dLLM에서 간단하고 효율적이며 다양한 샘플링이 가능하다는 것을 보여줍니다.

Much work has been done on designing fast and accurate sampling for diffusion language models (dLLMs). However, these efforts have largely focused on the tradeoff between speed and quality of individual samples; how to additionally ensure diversity across samples remains less well understood. In this work, we show that diversity can be increased by using softened, tempered versions of familiar confidence-based remasking heuristics, retaining their computational benefits and offering simple implementations. We motivate this approach by introducing an idealized formal model of fork tokens and studying the impact of remasking on the expected entropy at the forks. Empirically, the proposed tempered heuristics close the exploration gap (pass@k) between existing confidence-based and autoregressive sampling, hence outperforming both when controlling for cost (pass@NFE). We further study how the increase in diversity translates to downstream post-training and test-time compute scaling. Overall, our findings demonstrate that simple, efficient, and diverse sampling from dLLMs is possible.