추론인가 암기인가? LLM 강화 학습에서 방향 인지적 다양성 탐색

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

강화 학습은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심적인 패러다임으로, 효과적인 해결 경로를 발견하는 데 있어 탐색이 매우 중요합니다. 기존의 탐색 방법들은 일반적으로 의미 공간 또는 기울기 공간에서 다양성을 장려하지만, 이러한 다양성의 원인을 구별하지 않습니다. 특정 경로는 새로운 추론 과정을 따르기 때문에 새롭게 보일 수도 있고, 저장된 패턴이나 단축키가 변경되었기 때문일 수도 있습니다. 두 경우를 동일하게 평가하면 탐색이 실제적인 추론 능력 향상보다는 암기에 더 집중될 수 있습니다. 본 논문에서는 정책의 내부적인 추론-암기 방향에 기반하여 탐색을 안내하는 방향 인지적 강화 학습 프레임워크인 DiRL을 제안합니다. 특히, DiRL은 모델 표현으로부터 이 방향을 추출하고, 방향 가중 기울기 특징을 사용하여 롤아웃 업데이트를 특성화하며, 보상을 설계하여 추론과 일치하는 탐색을 증폭시키고 암기와 관련된 변형을 억제합니다. DiRL은 표준 Group Relative Policy Optimization (GRPO)에 원활하게 통합됩니다. 수학적 및 일반적인 추론 벤치마크에서의 광범위한 실험 결과는 DiRL의 효과성을 입증하며, 다양한 기존 탐색 방법에 비해 상당한 성능 향상을 보여줍니다.

Reinforcement learning has become a key paradigm for eliciting reasoning abilities in large language models, where exploration is crucial for discovering effective solution trajectories. Existing exploration methods typically encourage diversity in semantic or gradient spaces, without distinguishing what drives this diversity. A trajectory may appear novel because it follows a new reasoning process, or because it varies memorized patterns and shortcuts. Rewarding both cases equally may steer exploration toward memorization rather than genuine reasoning improvement. In this paper, we propose DiRL, a Direction-Aware Reinforcement Learning framework that anchors exploration to an internal reasoning-memorization direction of the policy. Specifically, DiRL extracts this direction from model representations, constructs direction-weighted gradient features to characterize rollout updates, and shapes rewards to amplify reasoning-aligned exploration while suppressing memorization-aligned variations. DiRL integrates seamlessly into standard Group Relative Policy Optimization (GRPO). Extensive experiments on mathematical and general reasoning benchmarks demonstrate the effectiveness of DiRL, showing significant improvements over various existing exploration methods.