RoMeRL: 자기 진화 에이전트 메모리의 피드백 범위와 기억-보상 함정을 균형 있게 조절하는 방법: 축소된 차원의 유틸리티 상태를 이용한 접근 방식

RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States

자기 진화 LLM(Large Language Model) 에이전트를 위한 학습 기반 메모리 시스템은 두 가지 밀접하게 관련된 문제에 직면합니다. 첫째, 상호 작용 기록에 따라 증가하는 경로-인덱스 유틸리티는 제한된 피드백을 지속적으로 확장되는 상태 공간으로 분산시킵니다. 둘째, 경로 수준의 보상은 함께 검색된 여러 메모리에 공동으로 할당되기 때문에 관련 없는 경험이 잘못된 유틸리티 업데이트를 받고 결과적으로 기억-보상 함정에 빠질 수 있습니다. 이러한 문제점을 해결하기 위해 우리는 축소된 차원의 메모리 강화 학습(RoMeRL)을 제안합니다. RoMeRL은 각 작업에 대한 고정된 차원의 메모리 상태 요소를 사용하여 증가하는 경로-인덱스 유틸리티 공간을 표현하며, 이 요소는 결과 극성 및 메모리 동역학으로 분해됩니다. RoMeRL은 고정된 세트의 의미론적 좌표를 통해 새로운 경험을 통합하며, 이러한 좌표의 내용은 시간이 지남에 따라 업데이트되거나 교체되어 피드백을 제한된 유틸리티 지원 영역에 집중시킵니다. 이론적으로 우리는 이 축소된 차원의 매개변수화가 각 유틸리티 좌표에 의해 평균적으로 수신되는 피드백 양을 증가시키며, 일반적인 좌표-전이 모델 하에서 오류 좌표의 정상 상태 점유율을 특성화함을 보여줍니다. 실험적으로 ALFWorld 및 LifelongAgentBench 데이터셋에서 RoMeRL은 작업 성능을 향상시키고, Cold-Q 비율을 80.0% 감소시키고, 피드백 밀도를 약 6.0배 증가시키고, 유지되는 메모리 크기를 84.4% 줄이고, LLM 호출 횟수를 21.1% 감소시킵니다. 이러한 결과는 축소된 차원의 유틸리티 상태가 효율적인 자기 진화 에이전트 메모리를 지원하는 동시에 지속적인 보상 오염을 제한함을 보여줍니다. 코드: https://github.com/YOUNG-fnxm/RoMeRL

Learning-based memory systems for self-evolving LLM agents face two tightly coupled challenges. First, trajectory-indexed utilities grow with the interaction history, thereby dispersing limited feedback over an ever-expanding state space. Second, because trajectory-level rewards are jointly assigned to co-retrieved memories, irrelevant experiences may receive misleading utility updates and consequently enter the memory-reward trap. To address these challenges, we introduce Reduced-Order Memory Reinforcement Learning (RoMeRL), which represents the growing trajectory-indexed utility space using a fixed-dimensional per-task memory state factorized by outcome polarity and memory dynamics. RoMeRL incorporates new experiences through a fixed set of semantic coordinates whose contents are updated or replaced over time, thereby concentrating feedback over a bounded utility support. Theoretically, we show that this reduced-order parameterization increases the average feedback received by each utility coordinate and characterize the steady-state occupancy of erroneous coordinates under a generic coordinate-transition model. Empirically, across ALFWorld and LifelongAgentBench, RoMeRL improves task performance, reduces the Cold-Q ratio by 80.0%, increases feedback density by approximately 6.0 times, reduces the maintained memory size by 84.4%, and cuts LLM calls by 21.1%. These results show that reduced-order utility states support efficient self-evolving agent memory while limiting persistent reward contamination. Code is available at: https://github.com/YOUNG-fnxm/RoMeRL