ReContext: 재귀적 증거 재생을 통한 LLM 활용 전략 - 장문 맥락 추론

ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

장대 문맥을 이해하고 추론하는 능력은 실제 응용 분야에서 대규모 언어 모델(LLM)을 활용하기 위한 핵심 요구 사항이 되었습니다. 최근 LLM들은 점점 더 긴 문맥 창을 지원하지만, 입력에 이미 존재하는 관련 정보를 효과적으로 활용하지 못하는 경우가 많아, 문맥 접근성과 실제 문맥 활용 간의 격차가 존재합니다. 본 연구에서는 장문 맥락 추론 능력을 향상시키는 훈련이 필요 없는 추론 방법인 Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT)를 제안합니다. RECONTEXT는 모델 내부의 관련성 신호를 사용하여 질문에 따라 구성된 증거 풀을 생성하고, 최종 생성 전에 이를 재생하며, 동시에 전체 원래 문맥을 유지합니다. 이러한 재귀적인 선택 과정은 훈련 없이, 외부 메모리나 문맥 압축 없이 증거 조직과 답변 생성을 분리합니다. 또한, 우리는 연상 기억 이론에 기반한 이론적 분석을 제공하여, 문맥을 메모리 저장소로, 질문을 검색 신호로, 어텐션을 신호-흔적 연관으로, 재생을 흔적 활성화로 설명합니다. 128K의 긴 문맥 길이를 가진 여덟 가지 데이터 세트에 대한 실험 결과, RECONTEXT는 Qwen3-4B, Qwen3-8B 및 Llama3-8B 모델에서 일관되게 증거 활용도를 향상시켰으며, 세 모델 모두에서 가장 높은 평균 순위를 달성했습니다. 관련 코드는 https://github.com/Yanjun-Zhao/ReContext 에서 확인할 수 있습니다.

Understanding and reasoning over long contexts has become a key requirement for deploying large language models (LLMs) in realistic applications. Although recent LLMs support increasingly long context windows, they often fail to use relevant evidence that is already present in the input, revealing a gap between context access and effective context utilization. In this work, we propose Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT), a training-free inference method for improving long-context reasoning. RECONTEXT uses model-internal relevance signals to construct a query-conditioned evidence pool and replays it before final generation while preserving the full original context. This recursive selection process separates evidence organization from answer generation without training, external memory, or context pruning. We also provide a theoretical analysis based on associative memory, which characterizes the context as a memory store, the question as a retrieval cue, attention as cue-trace association, and replay as trace reactivation. Experiments on eight long-context datasets with 128K context length show that RECONTEXT consistently improves evidence utilization across Qwen3-4B, Qwen3-8B, and Llama3-8B, achieving the best average rank on all three backbones. Code is available at https://github.com/Yanjun-Zhao/ReContext.