MemFactory: 에이전트 메모리를 위한 통합 추론 및 학습 프레임워크

MemFactory: Unified Inference & Training Framework for Agent Memory

메모리 기반 대규모 언어 모델(LLM)은 강력하고 장기적인 인공지능 에이전트 개발에 필수적입니다. 최근에는 강화 학습(RL)을 활용하여 메모리 추출, 업데이트, 검색과 같은 메모리 연산을 최적화하는 연구가 매우 유망한 분야로 떠오르고 있습니다. 그러나 기존 구현 방식은 여전히 매우 단편적이고 작업에 특화되어 있으며, 이러한 복잡한 파이프라인을 통합, 학습 및 평가하는 데 필요한 통합 인프라가 부족합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 메모리 기반 에이전트를 위해 특별히 설계된 최초의 통합적이고 모듈화된 학습 및 추론 프레임워크인 MemFactory를 소개합니다. LLaMA-Factory와 같은 통합 파인튜닝 프레임워크의 성공에 영감을 받아, MemFactory는 메모리 수명 주기를 원자적이고 쉽게 연결할 수 있는 구성 요소로 추상화하여 연구자들이 "레고"와 같은 아키텍처를 통해 맞춤형 메모리 에이전트를 쉽게 구축할 수 있도록 합니다. 또한, 본 프레임워크는 다차원 환경 보상을 기반으로 내부 메모리 관리 정책을 미세 조정하기 위해 Group Relative Policy Optimization (GRPO)을 기본적으로 통합합니다. MemFactory는 Memory-R1, RMM, MemAgent와 같은 최신 기술에 대한 즉시 사용 가능한 지원을 제공합니다. MemFactory는 공개적으로 제공되는 학습 및 평가 데이터를 사용하여 공개 소스 MemAgent 아키텍처에서 경험적으로 검증되었습니다. MemFactory는 도메인 내 및 도메인 외부 평가 세트에서 모두 해당 기본 모델보다 성능을 꾸준히 향상시켰으며, 최대 14.8%의 상대적인 성능 향상을 보였습니다. 표준화되고 확장 가능하며 사용하기 쉬운 인프라를 제공함으로써 MemFactory는 진입 장벽을 크게 낮추고, 메모리 기반 AI 에이전트 분야의 미래 혁신을 위한 길을 열 것입니다.

Memory-augmented Large Language Models (LLMs) are essential for developing capable, long-term AI agents. Recently, applying Reinforcement Learning (RL) to optimize memory operations, such as extraction, updating, and retrieval, has emerged as a highly promising research direction. However, existing implementations remain highly fragmented and task-specific, lacking a unified infrastructure to streamline the integration, training, and evaluation of these complex pipelines. To address this gap, we present MemFactory, the first unified, highly modular training and inference framework specifically designed for memory-augmented agents. Inspired by the success of unified fine-tuning frameworks like LLaMA-Factory, MemFactory abstracts the memory lifecycle into atomic, plug-and-play components, enabling researchers to seamlessly construct custom memory agents via a "Lego-like" architecture. Furthermore, the framework natively integrates Group Relative Policy Optimization (GRPO) to fine-tune internal memory management policies driven by multi-dimensional environmental rewards. MemFactory provides out-of-the-box support for recent cutting-edge paradigms, including Memory-R1, RMM, and MemAgent. We empirically validate MemFactory on the open-source MemAgent architecture using its publicly available training and evaluation data. Across both in-domain and out-of-distribution evaluation sets, MemFactory consistently improves performance over the corresponding base models, with relative gains of up to 14.8%. By providing a standardized, extensible, and easy-to-use infrastructure, MemFactory significantly lowers the barrier to entry, paving the way for future innovations in memory-driven AI agents.