지속적인 학습이 메모리로 이동할 때: LLM 에이전트에서의 경험 재사용 연구

When Continual Learning Moves to Memory: A Study of Experience Reuse in LLM Agents

메모리 기반 LLM 에이전트는 지속적인 학습에 매력적인 해결책을 제시합니다. 모델 파라미터를 업데이트하는 대신, 이러한 에이전트는 외부 메모리에 경험을 축적하며, 이는 파라미터 기반 학습의 안정성-가소성 딜레마를 피하는 것처럼 보입니다. 우리는 이러한 과제가 사라지는 것이 아니라, 메모리 수준에서 다시 나타난다는 것을 보여줍니다. 제한된 컨텍스트 윈도우 하에서, 오래된 경험과 새로운 경험이 검색 과정에서 경쟁하며, 지속적인 학습의 병목 현상이 파라미터 업데이트에서 메모리 접근으로 이동합니다. 이 현상을 연구하기 위해, 우리는 외부 메모리의 두 가지 기본적인 설계 축을 분리하는 (k,v) 프레임워크를 소개합니다. 즉, 경험이 어떻게 표현되고 검색을 위해 어떻게 구성되는지를 분석합니다. ALFWorld 및 BabyAI에서의 순차적 작업 실험을 통해, 추상적인 절차적 기억이 상세한 경로보다 더 안정적으로 전이되는 것을 발견했습니다. 또한, 부정적인 전이는 특히 어려운 경우에 더 큰 영향을 미칩니다. 더욱이, 세분화된 메모리 구성이 항상 유익한 것은 아닙니다. 강력한 순방향 전이를 유도하는 설계는 동시에 심각한 망각을 유발할 수 있습니다. 이러한 결과들을 종합적으로 고려할 때, 외부 메모리는 지속적인 학습 문제를 해결하는 것이 아니라, 메모리 표현 및 검색 설계라는 새로운 문제로 재구성합니다.

Memory-augmented LLM agents offer an appealing shortcut to continual learning: rather than updating model parameters, they accumulate experience in external memory, seemingly sidestepping the stability-plasticity dilemma of parametric learning. We show that this challenge does not disappear but resurfaces at the memory level. Under a limited context window, old and new experiences compete during retrieval, relocating the continual-learning bottleneck from parameter updates to memory access. To study this phenomenon, we introduce a (k,v) framework that disentangles two fundamental design axes of external memory: how experience is represented and how it is organized for retrieval. Across sequential-task experiments in ALFWorld and BabyAI, we find that abstract procedural memories transfer more reliably than detailed trajectories, while negative transfer disproportionately harms the hard cases. Moreover, finer-grained memory organization is not universally beneficial: designs that yield strong forward transfer can simultaneously induce severe forgetting. Together, these results reveal that external memory does not resolve the continual-learning problem; it reshapes it into a problem of memory representation and retrieval design.