PAST-Bench: 개인 에이전트의 재귀적 자기 개선 기반 연구를 위한 벤치마크

PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

재귀적 자기 개선은 에이전트가 축적된 경험을 바탕으로 더 나은 미래 행동을 가능하게 하는 것을 요구합니다. 개인 AI 에이전트는 선호도, 작업 기록, 도구 사용 방법 및 학습된 기술을 세션 간에 유지하므로 이 능력을 연구하기 위한 구체적인 환경을 제공합니다. 그러나 지금까지 저장된 경험이 실제로 시간이 지남에 따라 에이전트를 개선하는지 여부는 체계적으로 검증되지 않았습니다. 본 논문에서는 이러한 질문을 해결하기 위해 PAST-Bench라는 벤치마크를 소개합니다. 각 에이전트는 저장된 경험의 영향을 켜고 끄기 위해 설계된 동일한 조건 하에서 순서대로 배열된 새로운 작업 시퀀스를 실행합니다. 이 벤치마크는 메모리, 절차적 재사용, 정보 수집 및 업데이트 기능을 포함하여 26개의 시나리오와 204개의 에피소드로 구성됩니다. 우리는 후속 작업의 성능 향상 정도와 이러한 향상이 의도된 저장, 검색 및 업데이트 경로를 따르는지 여부를 보고합니다. 7개의 기본 모델과 4가지 에이전트 프레임워크에서, 개선 효과는 실제로 존재하지만 기능별로 불균등하게 나타납니다. 동일한 전반적인 성능 향상을 보이는 에이전트라도 의도된 경로의 증거에 따라 그 정도가 크게 다를 수 있습니다. 이러한 연구 결과를 바탕으로, 에이전트 루프의 여러 단계에 걸쳐 5가지 목표 개입을 수행하는 Hermes+를 개발했습니다. Hermes+는 저장된 경험으로부터 얻는 평균 성능 향상을 높이고 명확한 경로 증거를 제공하며, 특히 오래된 상태 정보를 대체해야 하는 작업에서 가장 큰 개선 효과를 보입니다. 하지만 이러한 효과는 여전히 기능 및 모델에 따라 달라집니다. PAST-Bench와 Hermes+는 지속적인 에이전트가 경험을 축적하는 것에서부터 이를 체계적으로 활용하여 성능을 향상시키는 과정을 평가하고 진단하기 위한 기반을 제공합니다. 코드: https://github.com/Gen-Verse/PAST-Bench

Recursive self-improvement requires agents to turn accumulated experience into better future behavior. Personal AI agents offer a concrete setting for studying this capability because they retain preferences, task histories, tool routines, and learned skills across sessions. Yet whether retained experience actually improves them over time has not been systematically tested. We introduce PAST-Bench, a benchmark designed to isolate this question. Each agent runs through ordered sequences of fresh-session tasks under matched conditions that turn retained experience on and off. It spans 26 scenarios and 204 episodes across memory, procedural reuse, information gathering, and update. We report both later-task gains and whether those gains follow the intended save, retrieve, and update pathway. Across seven base models and four agent frameworks, improvement is real but uneven across capabilities. Agents with the same headline gain can differ markedly in whether that gain is supported by evidence of the intended pathway. Guided by these findings, we develop Hermes+, which extends Hermes with five targeted interventions across stages of the agent loop. Hermes+ raises the average gain from retained experience and provides clearer pathway evidence, with its strongest improvement on tasks requiring outdated state to be replaced, although the effect remains capability- and model-dependent. Together, PAST-Bench and Hermes+ provide an evaluation and diagnostic foundation for studying how persistent agents can progress from retaining experience to systematically improving through it. Code: https://github.com/Gen-Verse/PAST-Bench