MemCollab: 대조 학습 기반 경로 증류를 통한 에이전트 간 메모리 협업

MemCollab: Cross-Agent Memory Collaboration via Contrastive Trajectory Distillation

대규모 언어 모델(LLM) 기반 에이전트는 과거 문제 해결 경험에서 얻은 지식을 재사용하기 위해 메모리 메커니즘에 의존합니다. 기존 방식은 일반적으로 각 에이전트별로 메모리를 구축하며, 저장된 지식을 특정 모델의 추론 스타일에 강하게 연결합니다. 현대적인 환경에서 다양한 에이전트가 사용되는 경우, 자연스럽게 다음과 같은 질문이 제기됩니다: 단일 메모리 시스템을 서로 다른 모델 간에 공유할 수 있는가? 우리는 에이전트 간에 메모리를 단순히 전송하는 것이 성능 저하를 초래한다는 것을 발견했습니다. 왜냐하면 이러한 메모리는 작업과 관련된 지식과 에이전트별 편향을 얽히게 만들기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 MemCollab이라는 협업 메모리 프레임워크를 제안합니다. MemCollab은 동일한 작업에 대해 서로 다른 에이전트가 생성한 추론 경로를 대조하여 에이전트 독립적인 메모리를 구축합니다. 이 대조 과정은 공유되는 작업 수준의 불변성을 포착하고 에이전트별 특성을 억제하는 추상적인 추론 제약을 추출합니다. 또한, 작업에 대한 인식을 갖춘 검색 메커니즘을 도입하여 메모리 접근을 작업 범주에 따라 조건화함으로써, 추론 시에 관련 제약만 사용되도록 합니다. 수학적 추론 및 코드 생성 벤치마크를 사용한 실험 결과, MemCollab은 다양한 에이전트, 특히 서로 다른 모델 아키텍처를 사용하는 경우에도 정확도와 추론 시간 효율성을 지속적으로 향상시킵니다. 우리의 결과는 협업적으로 구축된 메모리가 다양한 LLM 기반 에이전트를 위한 공유 추론 리소스로 기능할 수 있음을 보여줍니다.

Large language model (LLM)-based agents rely on memory mechanisms to reuse knowledge from past problem-solving experiences. Existing approaches typically construct memory in a per-agent manner, tightly coupling stored knowledge to a single model's reasoning style. In modern deployments with heterogeneous agents, a natural question arises: can a single memory system be shared across different models? We found that naively transferring memory between agents often degrades performance, as such memory entangles task-relevant knowledge with agent-specific biases. To address this challenge, we propose MemCollab, a collaborative memory framework that constructs agent-agnostic memory by contrasting reasoning trajectories generated by different agents on the same task. This contrastive process distills abstract reasoning constraints that capture shared task-level invariants while suppressing agent-specific artifacts. We further introduce a task-aware retrieval mechanism that conditions memory access on task category, ensuring that only relevant constraints are used at inference time. Experiments on mathematical reasoning and code generation benchmarks demonstrate that MemCollab consistently improves both accuracy and inference-time efficiency across diverse agents, including cross-modal-family settings. Our results show that the collaboratively constructed memory can function as a shared reasoning resource for diverse LLM-based agents.