CORE: 대비적 반성을 통한 빠른 추론 능력 향상

CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning

언어 모델은 검증 가능한 보상을 활용하여 다양한 유형의 추론 작업에서 성능을 향상시킬 수 있습니다. 그러나 매개변수 기반(예: RLVR) 및 비매개변수 기반(예: 프롬프트 최적화) 접근 방식 모두 일반적으로 수백 개의 학습 샘플과 수천 번의 모델 실행이 필요하며, 이는 최상의 경우에도 비용이 많이 들고 최악의 경우에는 불가능합니다. 이러한 문제점을 해결하기 위해, 우리는 Contrastive Reflection (CORE)이라는 비매개변수 학습 알고리즘을 소개합니다. CORE는 과거 추론 과정을 비교하여 통찰력을 얻습니다. 즉, 성공적인 시도와 실패한 시도 간의 차이를 포착하는 짧은 자연어 설명을 통해 추론 전략 및 제약 조건을 파악합니다. 네 가지 추론 작업에서, 우리는 CORE가 매개변수 기반(GRPO) 및 비매개변수 기반(GEPA, episodic RAG, MemRL) 방법보다 더 빠른 성능 향상을 가능하게 하며, 동시에 더 적은 수의 실행을 사용한다는 것을 보여줍니다. 제한된 실행 횟수를 기준으로, 단 5개의 학습 샘플만 사용하여 CORE는 각 기준 모델과 비교하거나 더 나은 성능 향상을 달성합니다. 또한, 우리는 CORE가 비매개변수 기반 방법보다 훨씬 효율적으로 문맥 정보를 활용하며, 저장된 지식을 압축적이고 해석 가능한 자연어 통찰력으로 유지한다는 것을 강조합니다. 따라서, 우리의 결과는 성공적인 추론 과정과 실패한 추론 과정을 비교하여 추상적이고 유용한 통찰력을 얻는 것이 가중치 업데이트, 프롬프트 최적화 또는 저장된 추론 과정의 직접적인 재사용보다 모델 자체 개선을 위한 보다 효율적이고 해석 가능한 방법이 될 수 있음을 시사합니다.

Language models can use verifiable rewards to improve at a wide variety of reasoning tasks. However, both parametric (e.g. RLVR) and non-parametric (e.g. prompt optimization) approaches to doing so typically require hundreds of training samples and thousands of model rollouts, making them expensive in the best case and intractable in the worst. To address this challenge, we introduce Contrastive Reflection (CORE), a non-parametric learning algorithm that compares past reasoning traces to generate insights: short natural-language descriptions of reasoning strategies and constraints that capture differences between successful and unsuccessful problem attempts. Across four reasoning tasks, we demonstrate that CORE enables more rapid improvement than both parametric (GRPO) and non-parametric (GEPA, episodic RAG, and MemRL) methods, while using fewer rollouts. Under fixed rollout budgets with as few as five training samples, we then show that CORE also achieves comparable or greater performance gains than each baseline. Finally, we highlight how CORE is also substantially more context-efficient than non-parametric baselines, requiring fewer prompt tokens while storing learned knowledge as compact, interpretable natural-language insights. Our results therefore suggest that distilling contrasts between successful and unsuccessful reasoning traces into abstract and useful insights can provide a more efficient and interpretable route to model self-improvement than weight updates, prompt optimization, or direct reuse of stored reasoning traces.