엔트로피를 넘어서: LLM 추론을 위한 토큰 수준 분포 차이 학습

Beyond Entropy: Learning from Token-Level Distributional Deviations for LLM Reasoning

검증 가능한 보상을 이용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰습니다. 그러나 이는 근본적인 최적화 불안정성을 겪습니다. 균일한 토큰 업데이트는 엔트로피 붕괴를 초래하여 최적 이하의 전략으로 조기에 수렴하게 만들고, 과도한 샤논 엔트로피 최대화는 엔트로피 폭발을 일으켜 일관성 없는 추론 체인으로 이어지는 무분별한 탐색을 유발합니다. 이러한 이분법 문제를 해결하기 위해, 우리는 독립적인 조합 토큰(ICT) 프레임워크를 제안합니다. ICT는 스칼라 불확실성이 아닌 토큰 로짓 분포의 특성에 초점을 맞춘 최적화 방식을 사용합니다. 젠슨-섀넌(JS) 발산을 이용하여 토큰 로짓 분포 간의 차이를 측정함으로써, ICT는 LLM 추론에서 효과적인 탐색을 위한 중요한 분기점으로 작용하는 독특한 분포 패턴을 가진 토큰을 식별합니다. 샤논 엔트로피와 2차 레이니 엔트로피를 기반으로 한 이론적 분석 결과, 이러한 특정 토큰에 대한 선택적 업데이트는 정책 집중도를 조절한다는 것을 입증했습니다. 이는 샤논 엔트로피로 측정되는 전체 분포 불확실성을 줄이는 동시에 2차 레이니 엔트로피로 포착되는 확률 집중도를 제어하여 과도한 토큰 생성을 방지하고 탐색 능력을 강화하며, 학습 환경을 안정화합니다. 실험 결과는 Qwen2.5 (0.5B/1.5B/7B) 모델에서 상위 10%의 고유한 토큰만 업데이트했을 때 GRPO, 20-Entropy 및 STAPO와 같은 기존 방법보다 평균적으로 pass@4 성능이 4.58% 향상되고, 최대 14.9%까지 개선되었으며, 이는 수학, 상식, 올림피아드 수준의 문제를 포함한 일곱 가지 벤치마크에서 나타났습니다.

Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced Large Language Model (LLM) reasoning; however, it faces a fundamental optimization instability: uniform token updates precipitate entropy collapse, leading to premature convergence to suboptimal strategies, whereas excessive Shannon Entropy maximization can cause entropy explosion, driving blind exploration toward incoherent reasoning chains. To resolve this dichotomy, we introduce the Independent Combinatorial Tokens (ICT) framework, which shifts the optimization focus from scalar uncertainty to the distributional properties of token logits. By leveraging the Jensen-Shannon (JS) divergence between token logits distributions, ICT identifies tokens with distinctive distributional patterns as critical branching points for guiding effective exploration in LLM reasoning. Our theoretical analysis, grounded in both Shannon and second-order Rényi entropy, proves that selectively updating on these tokens regulates policy concentration: it reduces the overall distribution uncertainty measured by Shannon entropy, while controlling probability concentration captured by second-order Rényi entropy. This dual effect prevents over-concentrated token generation from weakening exploration and effectively stabilizes the training landscape. Empirical results demonstrate that updating only the top 10% of unique tokens on Qwen2.5 (0.5B/1.5B/7B) models yields an average pass@4 improvement of 4.58%, with a maximum gain of 14.9%, over GRPO, 20-Entropy, and STAPO baselines across seven benchmarks spanning math, commonsense, and Olympiad-level problems.