LLM 에이전트를 위한 파일 시스템 기반 메모리: 구성, 진화 및 지속 가능성

Filesystem-Based Memory for LLM Agents: Organization, Evolution, and Sustainability

배포된 LLM 에이전트는 점점 더 장기적인 기억을 파일 시스템으로 저장하는 경향이 있습니다. 이는 에이전트 스스로가 읽고, 쓰고, 재구성하는 마크다운 파일들의 디렉토리 트리입니다. 하지만 기존 연구에서는 이러한 매체를 거의 다루지 않았습니다. 이전의 시스템들은 맞춤형 메모리 표현 방식을 설계하고, 이를 통해 검색을 수행했습니다. 본 논문은 기본 설정에 대한 두 가지 중요한 가정을 검증하지 않았습니다. 즉, 에이전트가 점점 더 많은 기억이 축적되고, 충돌하며, 쓸모 없어짐에 따라 성장하는 저장 공간을 체계적으로 유지할 수 있는지, 그리고 이러한 체계적인 관리가 실제로 성능 향상으로 이어지는지 여부입니다. 본 논문은 LLM 에이전트를 위한 파일 시스템 기반 메모리에 대한 최초의 체계적인 연구를 제시합니다. 우리는 이 설정을 하나의 메모리 파일 시스템을 중심으로 세 가지 역할을 정의했습니다. 관리 에이전트는 수신되는 콘텐츠를 통합하고 구성하며, 검색 에이전트는 인용 출처와 함께 질문에 답변하고, 실행 에이전트는 작업을 수행하기 위한 경로를 제공하여 선언적 기억과 기술을 단일 저장 공간으로 통합합니다. 장기 대화 벤치마크 및 임베디드 작업에서 우리는 메모리 구조 (에이전트가 구성한 계층 구조, 완전한 데이터 덤프, 청크 검색), 데이터 스트림 규모, 도구 활용 방식 (샌드박스 셸, 메모리-도구 스타일 함수, 다양한 검색 도구) 및 관리 에이전트와 검색 에이전트의 성능을 다양하게 변화시키고, 답변 품질, 비용 및 저장 공간 상태를 추적하며, 메모리가 증가함에 따라 이러한 요소들이 어떻게 변화하는지 분석했습니다. 체계적인 관리가 제공하는 주요 이점은 검색 효율성입니다. 체계적으로 구성된 저장 공간은 데이터 양이 많을수록 검색 비용을 약 절반으로 줄이는 효과가 있습니다. 그러나 현재의 에이전트는 기본 설정의 잠재력을 완전히 구현하지 못합니다. 성장 연구에서, 가장 강력한 관리 에이전트를 제외하고는 모든 경우에 체계적인 관리가 퇴화되는 경향을 보였으며, 우리가 측정하는 어떤 에이전트도 자체적으로 체계적인 관리를 통해 더 나은 답변을 얻지 못했습니다. 또한 모델 자체가 저장 공간의 구조를 결정하는 유일한 요소가 아닙니다. 도구 세트를 변경하는 것만으로도 모델을 교체하는 것만큼 저장 공간의 구조에 큰 영향을 미칠 수 있습니다. 본 연구는 파일 시스템 기본 설정을 단순히 가정으로 간주하는 것이 아니라, 에이전트 메모리를 설계하기 위한 하나의 디자인 공간으로 전환합니다.

Deployed LLM agents increasingly keep their long-term memory as a filesystem: a directory tree of markdown files that the agent itself reads, writes, and reorganizes through generic file tools. Yet research has largely passed over this medium: prior systems design bespoke memory representations and study retrieval over them, leaving the default's two working assumptions untested: that an agent can keep a growing store organized as memories accumulate, conflict, and go stale, and that this organization pays. We present the first systematic exploration of filesystem-based memory for LLM agents. We formalize the setting as three roles around one memory filesystem: a management agent integrates and organizes incoming content, a search agent answers queries with cited sources, and an execution agent supplies task trajectories that are distilled into skills, unifying declarative memory and skills in a single store. Across long-conversation benchmarks and embodied tasks, we vary memory shape (agent-organized hierarchy, verbatim dump, chunk retrieval), stream scale, tool harness (sandboxed shell, memory-tool-style functions, varied search tooling), and the strengths of the management and search agents, tracking answer quality, cost, and store health as memory grows. What organization reliably buys is search economy: organized stores roughly halve retrieval cost where material is large. Today's agents, however, fall short of the default's promise: in our growth study, organization erodes for all but the strongest management agent, and no agent we measure converts organization itself into better answers. And the model is not the only lever over a store's shape: changing the tool set alone reshapes the store as strongly as swapping the model. The study turns the filesystem default from an assumption into a design space for agent memory.