LLM 기반 에이전트 평가를 위한 통합 프레임워크의 필요성

The Necessity of a Unified Framework for LLM-Based Agent Evaluation

대규모 언어 모델(LLM)의 출현과 함께 범용 에이전트는 근본적인 발전을 이루었습니다. 그러나 이러한 에이전트를 평가하는 것은 정적인 질의응답(QA) 벤치마크와는 구별되는 독특한 과제들을 제시합니다. 우리는 현재의 에이전트 벤치마크들이 시스템 프롬프트, 도구 집합 구성, 환경적 역학 등 외부 요인들에 의해 심각하게 교란되고 있음을 관찰했습니다. 기존 평가들은 종종 파편화되고 연구자별로 특화된 프레임워크에 의존하며, 여기서는 추론과 도구 사용을 위한 프롬프트 엔지니어링이 상당히 달라 성능 향상이 모델 자체에 기인한 것인지 파악하기 어렵게 만듭니다. 게다가 표준화된 환경 데이터의 부재는 추적 불가능한 오류와 재현 불가능한 결과를 초래합니다. 이러한 표준화의 결여는 해당 분야에 상당한 불공정성과 불투명성을 야기합니다. 우리는 에이전트 평가의 엄격한 발전을 위해 통합된 평가 프레임워크가 필수적이라고 제안합니다. 이를 위해 우리는 에이전트 평가 표준화를 목표로 하는 제안을 소개합니다.

With the advent of Large Language Models (LLMs), general-purpose agents have seen fundamental advancements. However, evaluating these agents presents unique challenges that distinguish them from static QA benchmarks. We observe that current agent benchmarks are heavily confounded by extraneous factors, including system prompts, toolset configurations, and environmental dynamics. Existing evaluations often rely on fragmented, researcher-specific frameworks where the prompt engineering for reasoning and tool usage varies significantly, making it difficult to attribute performance gains to the model itself. Additionally, the lack of standardized environmental data leads to untraceable errors and non-reproducible results. This lack of standardization introduces substantial unfairness and opacity into the field. We propose that a unified evaluation framework is essential for the rigorous advancement of agent evaluation. To this end, we introduce a proposal aimed at standardizing agent evaluation.