강화 학습에서 기억 과제 수행 능력은 단순히 기억 유지 능력만으로는 충분하지 않다.

Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning

실제 세계에서의 효과적인 의사 결정은 안정성과 적응성을 모두 갖춘 기억에 의존합니다. 환경은 시간이 지남에 따라 변화하며, 에이전트는 장기적으로 관련 정보를 유지하는 동시에 상황 변화에 따라 오래된 정보를 업데이트하거나 덮어써야 합니다. 기존의 강화 학습(RL) 벤치마크 및 메모리 증강 에이전트는 주로 기억 유지 능력에 초점을 맞추고 있으며, 메모리 재작성이라는 또 다른 중요한 능력은 상대적으로 간과되어 왔습니다. 이러한 간극을 해소하기 위해, 우리는 부분 관찰 환경에서 지속적인 메모리 업데이트를 명시적으로 테스트하는 벤치마크를 소개하고, 이를 사용하여 순환 신경망, 트랜스포머 기반, 구조화된 메모리 아키텍처를 비교합니다. 우리의 실험 결과, 단순한 순환 신경망 모델은 현대적인 구조화된 메모리보다 메모리 재작업에서 더 큰 유연성과 견고성을 보이는 반면, 구조화된 메모리는 좁은 조건에서만 성공하고, 트랜스포머 기반 에이전트는 간단한 기억 유지 작업 외에는 종종 실패합니다. 이러한 결과는 현재 접근 방식의 근본적인 한계를 드러내며, 안정적인 기억 유지와 적응적인 업데이트를 균형 있게 갖춘 메모리 메커니즘의 필요성을 강조합니다. 본 연구는 간과되어 왔던 이러한 과제를 부각하고, 이를 평가하기 위한 벤치마크를 제시하며, 명시적이고 학습 가능한 망각 메커니즘을 갖춘 미래의 RL 에이전트 설계에 대한 통찰력을 제공합니다. 코드: https://quartz-admirer.github.io/Memory-Rewriting/

Effective decision-making in the real world depends on memory that is both stable and adaptive: environments change over time, and agents must retain relevant information over long horizons while also updating or overwriting outdated content when circumstances shift. Existing Reinforcement Learning (RL) benchmarks and memory-augmented agents focus primarily on retention, leaving the equally critical ability of memory rewriting largely unexplored. To address this gap, we introduce a benchmark that explicitly tests continual memory updating under partial observability, i.e. the natural setting where an agent must rely on memory rather than current observations, and use it to compare recurrent, transformer-based, and structured memory architectures. Our experiments reveal that classic recurrent models, despite their simplicity, demonstrate greater flexibility and robustness in memory rewriting tasks than modern structured memories, which succeed only under narrow conditions, and transformer-based agents, which often fail beyond trivial retention cases. These findings expose a fundamental limitation of current approaches and emphasize the necessity of memory mechanisms that balance stable retention with adaptive updating. Our work highlights this overlooked challenge, introduces benchmarks to evaluate it, and offers insights for designing future RL agents with explicit and trainable forgetting mechanisms. Code: https://quartz-admirer.github.io/Memory-Rewriting/