ReSum: 강화 학습을 통한 LLM 추론 및 요약의 시너지 효과

ReSum: Synergizing LLM Reasoning and Summarization with Reinforcement Learning

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 장기적인 추론 능력을 향상시키는 핵심 기술입니다. 그러나 기존의 RLVR 방법들은 종종 불필요하게 긴 추론 과정을 유발하여, 추론의 일관성을 저하시키고 사용 가능한 컨텍스트 예산을 소모하는 경향이 있습니다. 또한, 기존의 장문 맥락 구성 방식은 모델 스스로 추론 경로를 관리하는 대신 외부 메커니즘에 의존하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 우리는 LLM이 자체 요약을 통해 자신의 추론 경로를 압축하고 구성할 수 있도록 하는 새로운 RLVR 프레임워크인 ReSum을 제안합니다. 우리의 초기 연구 결과는 자체 요약이 토큰 수준의 엔트로피를 낮춰 생성 과정을 안정화시키며, "요약"이라는 구문을 추가하면 잘못된 추론 과정에서 발생하는 오류를 크게 줄일 수 있음을 보여줍니다. 이러한 발견에 따라, ReSum은 요약 여부를 고려하는 적응형 추론 메커니즘을 채택하여, 자체 요약이 현재 진행 중인 추론 과정에 도움이 되는지 비교 평가합니다. 구체적으로, 모델이 자체적으로 요약을 수행할 경우, ReSum은 요약 구문을 마스킹하여 대비 브랜치를 생성하고, 요약이 없는 위치에서는 해당 구문을 무작위로 삽입하여 매칭 브랜치를 생성합니다. 또한, 요약 여부를 고려한 보상을 설계하여 대비되는 추론 경로 간의 미세한 비교를 가능하게 합니다. 광범위한 실험 결과, ReSum은 평균 4%의 성능 향상을 가져오면서 동시에 추론 길이(rollout length)를 18.6% 단축시킴을 보여줍니다.

Reinforcement Learning with Verifiable Rewards (RLVR) is a central technique for improving long-horizon reasoning in Large Language Models (LLMs). However, existing RLVR methods often encourage unnecessarily long reasoning rollouts, which can degrade reasoning coherence and exhaust the available context budget. Existing approaches to long-context organization often depend on external mechanisms to organize rollouts, rather than enabling the model to manage its own reasoning trajectory. To address this limitation, we propose ReSum, a novel RLVR framework that enables LLMs to compress and organize their reasoning trajectories through self-summarization. Our pilot studies show that self-summarization stabilizes generation by lowering token-level entropy, and that introducing a ``summarization'' phrase can substantially mitigate errors propagated from an incorrect rollout prefix. Motivated by these findings, ReSum adopts a summarization-aware adaptive rollout mechanism that contrastively evaluates whether self-summarization benefits the ongoing reasoning process. Specifically, when the model spontaneously triggers self-summarization, ReSum masks the summarization phrase to create a contrastive branch; for non-summarization positions, it instead randomly injects the phrase to create a matched branch. We further design a summarization-aware advantage to enable finer-grained comparison between contrastive rollout trajectories. Extensive experiments show that ReSum improves performance at an average of 4\% while reducing rollout length by 18.6\%.