MEMCoder: 프라이빗 라이브러리 중심의 코드 생성에 적합한 다차원 진화 메모리

MEMCoder: Multi-dimensional Evolving Memory for Private-Library-Oriented Code Generation

대규모 언어 모델(LLM)은 일반적인 코드 생성에서 뛰어난 성능을 보이지만, 공개된 사전 훈련 데이터셋에 포함되지 않은 내부 프라이빗 라이브러리를 사용하는 기업 환경에서는 성능이 급격히 저하됩니다. 검색 증강 생성(RAG)은 정적 API 문서를 제공하여 훈련 없이도 대안을 제시하지만, 이러한 문서는 일반적으로 분리된 정의만 제공하여 근본적인 지식 격차를 남깁니다. 특히, LLM은 API 간의 작업 수준 조화 패턴 부족과 API 수준에서 매개변수 제약 조건 및 경계 조건에 대한 이해 부족으로 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 LLM이 이러한 두 가지 측면에서 사용 지침을 자율적으로 축적하고 발전시킬 수 있도록 하는 새로운 프레임워크인 MEMCoder를 제안합니다. MEMCoder는 모델 자체의 문제 해결 경로에서 얻은 교훈을 축약하여 저장하는 다차원 진화 메모리를 도입합니다. 추론 과정에서, MEMCoder는 정적 문서와 관련 역사적 지침을 모두 컨텍스트에 주입하기 위해 이중 소스 검색 메커니즘을 사용합니다. 이 프레임워크는 객관적인 실행 피드백을 사용하여 성공과 실패를 분석하고, 지식 충돌을 해결하며, 메모리를 동적으로 업데이트하는 자동화된 폐쇄 루프 방식으로 작동합니다. NdonnxEval 및 NumbaEval 벤치마크에 대한 광범위한 평가는 MEMCoder가 기존 RAG 시스템을 크게 향상시켜 평균 절대 pass@1 성능을 16.31% 향상시킨다는 것을 보여줍니다. 또한, MEMCoder는 기존의 메모리 기반 지속 학습 방법에 비해 훨씬 뛰어난 도메인별 적응력을 보여줍니다.

Large Language Models (LLMs) excel at general code generation, but their performance drops sharply in enterprise settings that rely on internal private libraries absent from public pre-training corpora. While Retrieval-Augmented Generation (RAG) offers a training-free alternative by providing static API documentation, we find that such documentation typically provides only isolated definitions, leaving a fundamental knowledge gap. Specifically, LLMs struggle with a task-level lack of coordination patterns between APIs and an API-level misunderstanding of parameter constraints and boundary conditions. To address this, we propose MEMCoder, a novel framework that enables LLMs to autonomously accumulate and evolve Usage Guidelines across these two dimensions. MEMCoder introduces a Multi-dimensional Evolving Memory that captures distilled lessons from the model's own problem-solving trajectories. During inference, MEMCoder employs a dual-source retrieval mechanism to inject both static documentation and relevant historical guidelines into the context. The framework operates in an automated closed loop by using objective execution feedback to reflect on successes and failures, resolve knowledge conflicts, and dynamically update memory. Extensive evaluations on the NdonnxEval and NumbaEval benchmarks demonstrate that MEMCoder substantially enhances existing RAG systems, yielding an average absolute pass@1 gain of 16.31%. Furthermore, MEMCoder exhibits vastly superior domain-specific adaptation compared to existing memory-based continual learning methods.