복사보다 근거를 더 중요하게: 증거 기반 강화 학습을 통한 장문 맥락 추론에서의 반복적인 복사 문제 해결

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

단계별 추론 과정을 생성하는 대규모 언어 모델은 복잡한 작업에서 뛰어난 성능을 보여주었으며, 이러한 모델들을 장문 맥락 환경으로 확장하는 것은 중요한 연구 분야로 떠올랐습니다. 그러나 우리는 이 환경에서 발생하는 심각한 문제점인 '반복적인 복사' 현상을 발견했습니다. 즉, 모델들이 문제를 해결하기보다는 입력 텍스트를 그대로 추론 과정에 반복적으로 포함시키는 것입니다. 저희는 이 문제가 최첨단 장문 맥락 LLM에서 광범위하게 나타나며, 문맥의 길이가 길어질수록 더욱 심화된다는 것을 확인했습니다. 각 프롬프트를 작업과 관련된 핵심 증거와 관련 없는 주의 분산 문맥으로 나누어 분석한 결과, 근거 부족이 이러한 현상의 근본적인 원인임을 밝혀냈습니다. 모델들은 프롬프트에서 무분별하게 복사하며, 핵심 증거에 집중하지 못하는 모델일수록 오답을 내놓을 가능성이 훨씬 높습니다. 이러한 문제점을 해결하기 위해, 저희는 GEAR (Grounding Evidence-Aware Reward)라는 새로운 보상 형성 방법을 제안합니다. 이는 정확도 신호에 더해, 핵심 증거와의 일치성에 대한 보상과 관련 없는 문맥과의 일치성에 대한 벌점을 추가하여 모델의 학습을 유도합니다. 또한, 자연어 데이터에서 GEAR를 적용하기 위해, 임의의 문서로부터 증거가 주석 처리된 학습 데이터를 자동으로 생성하는 파이프라인을 개발했습니다. 저희는 다양한 규모와 벤치마크에서 GEAR를 검증한 결과, 정확도 기반 보상을 사용하는 기존 강화 학습 방식에 비해 평균 +4.6점까지 성능 향상을 보여주었으며, 특히 장문 맥락 환경에서 더 큰 효과를 얻을 수 있었습니다. 또한, 반복적인 복사와 추론 과정의 길이를 줄이는 데에도 기여했습니다. 이러한 연구 결과는 장문 맥락 평가가 단순 검색에서 복잡한 추론으로 이동하는 상황에서도, 관련 증거에 대한 정확한 이해가 여전히 필수적이며, 개선될 여지가 많다는 것을 시사합니다.

Large language models that generate step-by-step reasoning traces have achieved strong performance on complex tasks, and extending them to long-context settings has emerged as an important frontier. However, we identify a critical failure mode in this regime: \emph{repetitive copying}, where models extensively copy text from the input into their reasoning traces rather than productively solving the problem. We show that this behavior is pervasive across frontier long-context LLMs and intensifies with context length. By separating each prompt into task-relevant key evidence and irrelevant distractor context, we further show that the root cause is insufficient grounding: models copy from the prompt indiscriminately, and those that fail to focus on key evidence are far more likely to answer incorrectly. Motivated by this diagnosis, we propose GEAR (Grounding Evidence-Aware Reward), a reward shaping method that augments the accuracy signal with a grounding reward for overlap with key evidence and a distractor penalty for overlap with irrelevant context. To enable GEAR on natural-language data, we develop an automated pipeline that constructs evidence-annotated training data from arbitrary documents. We validate GEAR across multiple model scales and benchmarks, showing consistent improvements of up to +4.6 average points over standard RL with accuracy-based rewards, with larger gains at longer contexts, while also reducing repetitive copying and thinking length. Our findings suggest that, even as long-context evaluation shifts from simple retrieval toward complex reasoning, accurate grounding in relevant evidence remains an indispensable capability with substantial room for improvement.