Diffusion-GR2: 확산 기반 생성 추론 재순위화 모델

Diffusion-GR2: Diffusion Generative Reasoning Re-ranker

생성 추론 재순위화 모델은 후보 목록을 재정렬하기 전에 사고 과정을 제시하여 높은 추천 정확도를 달성하지만, 추론 속도가 느립니다. 이는 오토리그래시브(AR) 디코더가 각 추론 토큰마다 순차적인 전방향 연산을 수행하며, 생성된 사고 과정의 길이가 실제 순위 정보보다 훨씬 길기 때문입니다. 이러한 비용을 줄이기 위해, 블록 확산 언어 모델은 여러 위치를 병렬적으로 처리하여 몇 단계의 노이즈 제거 과정을 거치므로 훨씬 빠릅니다. 하지만 AR 재순위화 모델을 단순히 블록 확산 모델로 변환하면 두 가지 문제점이 발생합니다: (1) 구조적 격차: 답변 위치가 병렬적으로 노이즈 제거되고 독립적으로 평가되므로, 디코더는 AR 모델에서 왼쪽-오른쪽 마스킹을 통해 방지되는 유효하지 않은 순위를 생성합니다 (중복, 누락 또는 데이터셋에 없는 식별자 포함). (2) 분포적 격차: 변환된 모델을 고정된 교사(teacher) 경로를 사용하여 미세 조정하는 것은 추론 시 모델 자체의 디코딩 과정과 일치하지 않으므로, 정확도 격차가 남습니다. 이러한 두 가지 격차를 모두 해소하면서 속도 향상을 유지하기 위해, 우리는 AR 재순위화 모델 (GR2)을 블록 확산 재순위화 모델로 변환하는 방법인 **Diffusion-GR2**를 제안합니다. 먼저, 변환 미세 조정(CFT)은 외부의 제약된 디코더 없이도 AR 모델에서 초기화된 확산 모델이 답변을 유효한 순열로 노이즈 제거하도록 학습합니다. 다음으로, 온-정책 증류(OPD)는 모델이 자체적으로 생성된 경로에 대해 AR 교사 모델로부터 얻은 토큰 단위의 상세한 정보를 사용하여 학습합니다. 마지막으로, 우리는 OPD의 온-정책 정책 위에 강화 학습(RL) 단계를 적용하여 재순위화 보상을 최적화합니다. Amazon Beauty 데이터셋에서의 실험 결과, Diffusion-GR2는 AR 재순위화 모델과 거의 동등한 성능을 보이면서, 블록 병렬 디코딩을 통해 추론 처리량을 2.4배에서 3.5배 향상시켰습니다. 추가 분석 결과, CFT가 변환으로 인한 대부분의 정확도 손실을 회복하고, 온-정책 증류를 통해 AR 모델과의 격차를 더욱 줄일 수 있음을 확인했습니다.

Generative reasoning re-rankers achieve strong recommendation accuracy by emitting a chain-of-thought before re-ordering a candidate list, but they are slow at inference: an autoregressive (AR) decoder spends one sequential forward pass per reasoning token, and the reasoning trace far exceeds the ranking it produces. To reduce this cost, block-diffusion language models decode many positions in parallel over a few denoising steps and are substantially faster, yet naively converting an AR re-ranker into one opens two accuracy gaps: (1) a structural gap: answer positions are denoised in parallel and scored independently, so the decoder emits invalid rankings (duplicated, dropped, or out-of-set identifiers) that AR avoids through left-to-right masking; and (2) a distributional gap: fine-tuning the converted model on fixed teacher trajectories is off-policy relative to its own decoding at inference, leaving a residual accuracy gap. To close both gaps while keeping the speedup, we propose \textbf{Diffusion-GR2}, a recipe that converts our AR reasoning re-ranker (GR2) into a block-diffusion re-ranker. First, conversion fine-tuning (CFT) adapts the AR-initialized diffusion model to denoise the answer into a valid permutation on its own, without an external constrained decoder. Next, on-policy distillation (OPD) then supervises the model on its own decoded trajectories with dense per-token targets from the AR teacher. Finally, we apply a reinforcement-learning (RL) stage against a re-ranking reward on top of OPD's on-policy policy. Experiments on Amazon Beauty demonstrate that Diffusion-GR2 recovers to near-parity with the AR re-ranker, while block-parallel decoding raises decode throughput by $2.4$--$3.5\times$ at the model's reasoning output length. Ablations show that CFT recovers most of the conversion gap, and that on-policy distillation further closes it to the AR reference.