PACE: 자율성 평가를 위한 프록시

PACE: A Proxy for Agentic Capability Evaluation

SWE-Bench 및 GAIA와 같은 벤치마크에서 LLM 에이전트를 평가하는 것은 비용이 많이 들고 시간이 오래 걸리며 복잡한 인프라가 필요합니다. 단일 평가는 수천 달러의 비용이 발생하고 완료하는 데 며칠이 소요될 수 있습니다. 반면, 추론이나 코드 생성과 같은 개별적인 기능을 테스트하는 비에이전트 LLM 벤치마크는 빠르고 저렴하게 실행할 수 있습니다. 본 논문에서는 고가의 에이전트 벤치마크에서의 성능을 작은 규모의 신중하게 선택된 기본 평가 항목 집합(atomic evaluation instances)의 성능으로 정확하게 예측할 수 있는지 조사합니다. 우리는 PACE라는 프레임워크를 소개하며, 이 프레임워크는 기존의 비에이전트 평가에서 추출한 항목들을 선택하여 에이전트 벤치마크에서의 모델 성능을 가장 신뢰성 있게 예측하는 집합(프록시 벤치마크)을 구축합니다. PACE는 후보 항목 풀에서 기본 능력을 포괄하는 항목들을 선택하고, 회귀 분석을 통해 소규모의 원본 항목들에 대한 모델 점수를 표적 에이전트 벤치마크 점수로 매핑합니다. 이 소규모 집합은 두 가지 상호 보완적인 항목 선택 전략, 즉 표적 관련 지역 선택 및 전역적으로 유용한 글로벌 선택을 결합하여 구성됩니다. 본 논문에서는 4개의 표적 에이전트 벤치마크에 PACE를 적용하여, 본 논문에서 평가하는 구체적인 프록시 벤치마크인 PACE-Bench를 생성합니다. 14개 모델, 4개의 에이전트 벤치마크 및 19개의 비에이전트 벤치마크에 대한 실험 결과, PACE-Bench는 leave-one-out 교차 검증(LOOCV)을 통해 평균 절대 오차(MAE)가 4% 미만, 스피어맨 상관 계수가 0.80 이상, 쌍별 모델 순위 정확도가 약 85%를 달성하며, 이는 전체 에이전트 평가 비용의 1% 미만의 비용으로 이루어진다는 것을 보여줍니다. 또한, 선택된 프록시 항목들을 분석하여 각 에이전트 벤치마크가 요구하는 고유한 기술을 파악합니다. PACE는 실무자들이 모델 개발, 선택 및 경로 설정 과정에서 전체 에이전트 평가의 부담 없이 에이전트 성능에 대한 신뢰할 수 있는 추정치를 얻을 수 있도록 지원합니다.

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.