반사적 맥락 학습: 맥락 공간의 최적화 기본 요소 연구

Reflective Context Learning: Studying the Optimization Primitives of Context Space

일반적으로 능숙한 에이전트는 다양한 작업과 환경에 걸쳐 일반화할 수 있는 방식으로 경험으로부터 학습해야 합니다. 학습의 근본적인 문제, 즉 신용 할당, 과적합, 망각, 지역 최적점, 그리고 높은 분산 학습 신호는 학습 대상이 파라미터 공간에 있든 맥락 공간에 있든 간에 지속적으로 발생합니다. 이러한 과제들은 기존의 머신러닝 최적화 분야에서는 잘 이해되고 있지만, 맥락 공간에서는 아직 충분히 연구되지 않았으며, 이는 현재 방법론이 단편적이고 임의적이라는 결과를 초래합니다. 본 연구에서는 반복적인 상호 작용, 행동 및 실패 모드에 대한 반성, 그리고 맥락의 반복적인 업데이트를 통해 학습하는 에이전트를 위한 통합 프레임워크인 '반사적 맥락 학습(Reflective Context Learning, RCL)'을 제시합니다. RCL에서 반성은 경로와 현재 맥락을 그래디언트와 유사한 방향성 업데이트 신호로 변환하며, 변형(mutation)은 해당 신호를 적용하여 맥락 공간에서 미래의 행동을 개선합니다. 최근의 맥락 최적화 접근 방식을 공유된 학습 문제의 사례로 재구성하고, 배치 처리, 개선된 신용 할당 신호, 보조 손실, 실패 재생, 그리고 분산 감소를 위한 그룹화된 롤아웃과 같은 기존의 최적화 기본 요소를 체계적으로 확장했습니다. AppWorld, BrowseComp+, 그리고 RewardBench2 데이터셋에서 이러한 기본 요소들은 강력한 기준 모델보다 성능이 향상되었으며, 그 상대적인 중요성은 작업 환경에 따라 달라지는 것으로 나타났습니다. 또한 초기화, 배치 크기, 샘플링 및 교육 전략, 최적화기 상태 변형, 그리고 다양한 최적화 구성 요소에 더 강력하거나 약한 모델을 할당하는 것의 영향에 대한 분석을 수행했습니다. 본 연구의 결과는 맥락 업데이트를 통한 학습을 개별적인 알고리즘 집합으로 간주하는 것이 아니라, 체계적으로 연구하고 전이 가능한 원칙을 통해 개선할 수 있는 최적화 문제로 간주해야 함을 시사합니다.

Generally capable agents must learn from experience in ways that generalize across tasks and environments. The fundamental problems of learning, including credit assignment, overfitting, forgetting, local optima, and high-variance learning signals, persist whether the learned object lies in parameter space or context space. While these challenges are well understood in classical machine learning optimization, they remain underexplored in context space, leading current methods to be fragmented and ad hoc. We present Reflective Context Learning (RCL), a unified framework for agents that learn through repeated interaction, reflection on behavior and failure modes, and iterative updates to context. In RCL, reflection converts trajectories and current context into a directional update signal analogous to gradients, while mutation applies that signal to improve future behavior in context space. We recast recent context-optimization approaches as instances of this shared learning problem and systematically extend them with classical optimization primitives, including batching, improved credit-assignment signal, auxiliary losses, failure replay, and grouped rollouts for variance reduction. On AppWorld, BrowseComp+, and RewardBench2, these primitives improve over strong baselines, with their relative importance shifting across task regimes. We further analyze robustness to initialization, the effects of batch size, sampling and curriculum strategy, optimizer-state variants, and the impact of allocating stronger or weaker models to different optimization components. Our results suggest that learning through context updates should be treated not as a set of isolated algorithms, but as an optimization problem whose mechanisms can be studied systematically and improved through transferable principles.