모드 추출을 넘어: 잠재 확산 추론을 통한 다양성을 보존하는 강화 학습

Beyond Mode Elicitation: Diversity-Preserving Reinforcement Learning via Latent Diffusion Reasoner

최근 강화 학습(RL) 방법들은 LLM의 추론 능력을 향상시키기 위해 이산적인 Chain-of-Thought (CoT) 생성을 최적화합니다. 그러나 이산적인 RL에서 정책 엔트로피가 감소함에 따라 토큰 공간에서의 탐색은 종종 모드 추출(mode elicitation) 현상으로 인해 다양성 저하를 겪습니다. 이러한 문제를 완화하기 위해, 우리는 잠재 확산 추론을 이용한 강화 학습(Latent Diffusion Reasoning with Reinforcement Learning, LaDi-RL)이라는 프레임워크를 제안합니다. LaDi-RL은 탐색을 직접 연속적인 잠재 공간에서 수행하며, 잠재 변수는 의미 수준의 추론 경로를 인코딩합니다. 가이드된 확산을 통해 탐색을 모델링함으로써, 다단계 디노이징은 확률성을 분산시키고, 상호 억제 없이 다양한 공존하는 해결책 모드를 유지합니다. 또한, 잠재 공간 탐색과 텍스트 공간 생성을 분리함으로써, 텍스트 공간 정책 최적화만으로는 달성할 수 없는 효과를 잠재 확산 기반 최적화가 제공한다는 것을 보여줍니다. 코드 생성 및 수학적 추론 벤치마크 실험 결과, LaDi-RL은 이산적인 RL 기준 모델보다 pass@1 및 pass@k 모두에서 일관된 성능 향상을 보이며, 코드 생성에서 +9.4%, 수학적 추론에서 +5.7%의 절대적인 pass@1 성능 향상을 보여줍니다. 이는 확산 기반 잠재 RL이 추론을 위한 이산적인 토큰 수준 RL의 효과적인 대안임을 시사합니다.

Recent reinforcement learning (RL) methods improve LLM reasoning by optimizing discrete Chain-of-Thought (CoT) generation; however, exploration in token space often suffers from diversity collapse as policy entropy decreases due to mode elicitation behavior in discrete RL. To mitigate this issue, we propose Latent Diffusion Reasoning with Reinforcement Learning (LaDi-RL), a framework that conducts exploration directly in a continuous latent space, where latent variables encode semantic-level reasoning trajectories. By modeling exploration via guided diffusion, multi-step denoising distributes stochasticity and preserves multiple coexisting solution modes without mutual suppression. Furthermore, by decoupling latent-space exploration from text-space generation, we show that latent diffusion-based optimization is more effective than text-space policy optimization alone, while a complementary text policy provides additional gains when combined with latent exploration. Experiments on code generation and mathematical reasoning benchmarks demonstrate consistent improvements in both pass@1 and pass@k over discrete RL baselines, with absolute pass@1 gains of +9.4% on code generation and +5.7% on mathematical reasoning, highlighting diffusion-based latent RL as a principled alternative to discrete token-level RL for reasoning.