장기 추론 LLM 에이전트를 위한 메타인지 기반 메모리 정책 최적화

Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents

메모리를 활용한 LLM 에이전트는 복잡하고 장기간에 걸친 작업을 수행하기 위해, 상호 작용 기록을 요약하여 간결한 메모리로 저장합니다. 그러나 기존 방법들은 일반적으로 결과 기반 강화 학습을 사용하여 이러한 메모리 정책을 훈련하는데, 이는 중간 단계의 메모리 품질 저하가 발생하는 지점을 정확하게 파악하지 못합니다. 상호 작용이 진행됨에 따라, 모호한 요약 과정에서 중요한 작업 관련 정보가 점차 손실되고 의미론적 노이즈가 추가됩니다. 이러한 현상은 에이전트의 잠재적인 작업 상태에 대한 이해를 왜곡하여 장기 추론을 방해합니다. 따라서 우리는 메모리 최적화가 단순히 전체 경로 수준의 성공 여부에만 초점을 맞추는 것이 아니라, 중간 요약 과정에서 유도되는 정보의 명확성에 집중해야 한다고 주장합니다. 이를 위해, Belief Entropy라는 자기 지도 학습 기반 지표를 도입하여 모델이 현재 메모리를 바탕으로 잠재적인 작업 상태에 대해 얼마나 불확실한지를 측정합니다. 이 지표를 기반으로, Metacognitive Memory Policy Optimization (MMPO) 방법을 제안합니다. MMPO는 희소한 결과 기반 신호에만 의존하는 대신, 명시적으로 높은 인식론적 불확실성을 유발하는 요약을 처벌함으로써 메모리 수준에서 세분화된 감독 신호를 제공합니다. 실험 결과, MMPO는 다양한 장기 추론 작업에서 기존 방법보다 일관되게 우수한 성능을 보였으며, 175만 토큰의 컨텍스트까지 확장했을 때에도 97.1%의 성능을 유지했습니다.

Memory-augmented LLM agents tackle complex long-horizon tasks by recursively summarizing interaction trajectories into compact memory. However, existing approaches typically train these memory policies using outcome-based reinforcement learning, failing to localize where intermediate memory quality degrades. As interactions unfold, ambiguous recursive summaries progressively discard task-relevant information and introduce semantic noise. This exacerbates belief deviation, obscuring the agent's estimate of the latent task state and ultimately derailing long-horizon reasoning. We therefore argue that memory optimization should focus not merely on trajectory-level success, but on the clarity of the belief induced by intermediate summaries. To this end, we introduce Belief Entropy, a self-supervised proxy that probes how uncertain the model remains about the latent task state given its current memory. Based on this proxy, we propose Metacognitive Memory Policy Optimization (MMPO). Instead of relying only on sparse outcome-based signals, MMPO provides fine-grained, memory-specific supervision via explicitly penalizing summaries that induce high epistemic uncertainty. Experiments show that MMPO consistently outperforms existing methods on diverse long-horizon tasks, maintaining 97.1% performance even when scaled to 1.75M-token contexts.