GDPevo: 실제 비즈니스 작업에서의 에이전트 자체 진화 평가

GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks

에이전트 자체 진화는 이전 경험으로부터 에이전트의 지속적인 상태를 업데이트하고, 이를 재사용하여 관련 작업을 보다 효과적으로 해결합니다. 자체 진화를 평가하는 것은 어렵습니다. 기존 벤치마크는 경제적으로 가치 있는 작업 영역을 충분히 포괄하지 못하며, 항상 학습 및 테스트 작업을 설계하여 테스트 시에 얻는 이점이 학습 경험에서 비롯되었음을 보장하지 않으며, 데이터 오염에 취약합니다. 우리는 GDP 관련 기업 워크플로우를 기반으로 하는 자체 진화 벤치마크인 GDPevo와 함께 이를 생성하는 완전 자동화된 데이터 파이프라인을 제시합니다. GDPevo의 핵심 메커니즘인 규칙 하이브리드화는 각 기업 워크플로우를 기본 비즈니스 규칙으로 분해하고, 이러한 규칙의 부분 집합을 학습 작업에 분산한 다음, 테스트 작업에서 이들을 재조합하여 테스트 시에 얻는 이점이 학습 경험에서 비롯되었음을 보장합니다. GDPevo는 CRM, ERP, 금융, 의료, 법률 및 데이터 중심 워크플로우를 포괄합니다. V1 버전은 12개의 그룹으로 구성된 120개의 작업(각 그룹당 5개의 학습 작업과 5개의 테스트 작업)을 포함합니다. 완전 자동화를 통해 파이프라인은 두 일 만에 24개의 그룹으로 확장된 240개의 작업 (V2)을 제공하여 데이터 오염 문제에 대한 실질적인 해결책을 제시합니다. 우리는 GDPevo를 사용하여 하니스와 모델로 구성된 네 가지 에이전트를 네 가지 감독 유형 하에서 평가했습니다. 자체 진화는 테스트 정확도를 지속적으로 향상시켜 최대 16.44% 포인트까지 개선되었습니다. 그러나 가장 우수한 성능을 보이는 진화된 에이전트도 여전히 완벽한 정보를 가진 기준인 91.6%에 훨씬 미치지 못하며, 이는 현재 에이전트의 자체 진화 능력이 아직 완전히 실현되지 않았음을 나타냅니다. 우리는 파이프라인, 벤치마크 및 전체 평가 결과를 https://github.com/Prism-Shadow/GDPevo 에서 공개적으로 제공합니다.

Agent self-evolution updates an agent's persistent state from prior experience and reuses it to solve related tasks more effectively. Evaluating self-evolution is difficult: existing benchmarks provide limited coverage of economically valuable task domains, do not always design training and test tasks such that test-time gains can be attributed to training experience, and remain vulnerable to data contamination. We present GDPevo, an evolution-native benchmark grounded in GDP-related enterprise workflows, together with the fully automated data pipeline that generates it. Its core mechanism, rule hybridization, decomposes each enterprise workflow into atomic business rules, distributes subsets of these rules across training tasks, and recombines them in held-out test tasks so that test-time gains are attributable. GDPevo spans CRM, ERP, finance, healthcare, legal, and data-centric workflows. Its V1 release contains 120 tasks in 12 groups, with five training and five held-out test tasks per group. Full automation enables the pipeline to expand the suite to 240 tasks in 24 groups (V2) within two days, providing a practical response to contamination. Using GDPevo, we evaluate four agents, each comprising a harness and a model, under four supervision types. Self-evolution consistently improves held-out accuracy by up to 16.44 percentage points. But the best evolved agents remain far below the fully informed oracle ceiling of 91.6%, indicating that the self-evolution ability of current agents remains far from fully realized. We publicly release the pipeline, benchmark, and full evaluation results at https://github.com/Prism-Shadow/GDPevo.