메모리 전이 학습: 코딩 에이전트에서 도메인 간 메모리 전이 방식 연구

Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents

메모리 기반 자기 진화는 코딩 에이전트 분야에서 유망한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 메모리 활용을 동질적인 작업 도메인으로 제한하며, 다양한 실제 코딩 문제에 존재하는 런타임 환경 및 프로그래밍 언어와 같은 공유 인프라를 활용하지 못합니다. 이러한 제한점을 해결하기 위해, 본 연구에서는 이질적인 도메인에서 추출된 통합 메모리 풀을 활용하는 **메모리 전이 학습(MTL)**을 제안합니다. 우리는 6개의 코딩 벤치마크에서 네 가지 메모리 표현 방식(구체적인 추적 정보부터 추상적인 인사이트까지)을 사용하여 성능을 평가했습니다. 실험 결과, 도메인 간 메모리 활용은 평균 성능을 3.7% 향상시키며, 주로 검증 루틴과 같은 메타 지식을 전이함으로써 이러한 성능 향상이 이루어지는 것을 확인했습니다. 중요한 점은, 추상화 수준이 전이 가능성에 영향을 미친다는 것을 발견했습니다. 고수준의 인사이트는 일반화 성능이 우수한 반면, 저수준의 추적 정보는 지나친 특이성으로 인해 부정적인 전이를 유발하는 경우가 많습니다. 또한, 전이 효과는 메모리 풀의 크기에 비례하며, 서로 다른 모델 간에도 메모리 전이가 가능하다는 것을 확인했습니다. 본 연구는 단일 도메인으로 제한된 메모리 활용 범위를 확장하기 위한 실증적인 설계 원칙을 제시합니다. 프로젝트 페이지: https://memorytransfer.github.io/

Memory-based self-evolution has emerged as a promising paradigm for coding agents. However, existing approaches typically restrict memory utilization to homogeneous task domains, failing to leverage the shared infrastructural foundations, such as runtime environments and programming languages, that exist across diverse real-world coding problems. To address this limitation, we investigate \textbf{Memory Transfer Learning} (MTL) by harnessing a unified memory pool from heterogeneous domains. We evaluate performance across 6 coding benchmarks using four memory representations, ranging from concrete traces to abstract insights. Our experiments demonstrate that cross-domain memory improves average performance by 3.7\%, primarily by transferring meta-knowledge, such as validation routines, rather than task-specific code. Importantly, we find that abstraction dictates transferability; high-level insights generalize well, whereas low-level traces often induce negative transfer due to excessive specificity. Furthermore, we show that transfer effectiveness scales with the size of the memory pool, and memory can be transferred even between different models. Our work establishes empirical design principles for expanding memory utilization beyond single-domain silos. Project page: https://memorytransfer.github.io/