폐쇄 루프 메모리 최적화를 통한 소프트웨어 공학 발전

Enhancing Software Engineering Through Closed-Loop Memory Optimization

대규모 언어 모델(LLM)은 복잡한 코드베이스를 탐색하고 실제 문제를 해결할 수 있는 강력한 소프트웨어 공학(SE) 에이전트를 가능하게 합니다. 그러나 이러한 에이전트는 근본적으로 일회성으로, 경험을 유지, 개선 및 재사용하지 못하며, 각 작업마다 문맥을 처음부터 다시 구성하고 유사한 실수를 반복합니다. 메모리 지원 기능이 있더라도, 원칙적이고 작업에 독립적인 *메모리 유용성*의 부재를 해결할 수 없기 때문에, 엄격하게 평가하거나 에이전트 및 환경 전체로 일반화하기 어렵습니다. 이러한 한계를 극복하기 위해, 우리는 SE 에이전트의 메모리 확장을 위한 폐쇄 루프 프레임워크인 exttt{ extbf{ours}}를 소개합니다. exttt{ extbf{ours}}는 *검증된 하위 작업 영향*을 기반으로 메모리 유용성을 정의하며, 이를 작업에 독립적인 **평가 벤치마크**이자 주석이 필요 없는 **최적화 신호**로 활용합니다. *단일 에피소드* 및 *다중 에피소드* 메모리 확장에 대한 상호 보완적인 평가를 통해, exttt{ extbf{ours}}가 다양한 환경에서 SE 에이전트를 지속적으로 개선한다는 것을 보여줍니다. 구체적으로, 성공률은 최대 $↑ 5.25$%, 문제 해결 효율성은 $↑ 4.63$% 증가했으며, 계산 비용은 $↑ 9.79$% 이상 감소했습니다. 프로젝트 페이지: [https://xhguo7.github.io/MemOp/](https://xhguo7.github.io/MemOp/).

Large language models (LLMs) have enabled powerful software engineering (SE) agents capable of navigating complex codebases and resolving real-world issues. However, these agents remain fundamentally episodic: they fail to retain, refine, and reuse experiences across tasks, repeatedly reconstructing context from scratch and reproducing similar mistakes. Even with memory support, they offer no remedy for the absence of a principled, task-agnostic \textit{memory utility}, making them difficult to evaluate rigorously or generalize across agents and settings. To tackle these limitations, we introduce \ours, a closed-loop framework for memory augmentation in SE agents. \ours grounds memory utility in \textit{validated downstream impact}, establishing utility as both a task-agnostic \textbf{evaluation benchmark} and an annotation-free \textbf{optimization signal}. Through complementary evaluation on \textit{single-episode} and \textit{cross-episode} memory augmentation, results demonstrate that \ours consistently improves SE agents across settings, achieving absolute gains of up to $\uparrow5.25\%$ in success rate and $\uparrow4.63\%$ in resolve efficiency, while substantially reducing computational cost by $\geq9.79\%$. Our project page: \href{https://xhguo7.github.io/MemOp/}{https://xhguo7.github.io/MemOp/}.