LLM 기반 에이전트 평가를 위한 통합 프레임워크의 필요성

"LLM Agent Performance" Is Not a Single Evaluation Target

대규모 언어 모델(LLM)의 출현과 함께 범용 에이전트는 근본적인 발전을 이루었습니다. 그러나 이러한 에이전트를 평가하는 것은 정적인 질의응답(QA) 벤치마크와는 구별되는 독특한 과제들을 제시합니다. 우리는 현재의 에이전트 벤치마크들이 시스템 프롬프트, 도구 집합 구성, 환경적 역학 등 외부 요인들에 의해 심각하게 교란되고 있음을 관찰했습니다. 기존 평가들은 종종 파편화되고 연구자별로 특화된 프레임워크에 의존하며, 여기서는 추론과 도구 사용을 위한 프롬프트 엔지니어링이 상당히 달라 성능 향상이 모델 자체에 기인한 것인지 파악하기 어렵게 만듭니다. 게다가 표준화된 환경 데이터의 부재는 추적 불가능한 오류와 재현 불가능한 결과를 초래합니다. 이러한 표준화의 결여는 해당 분야에 상당한 불공정성과 불투명성을 야기합니다. 우리는 에이전트 평가의 엄격한 발전을 위해 통합된 평가 프레임워크가 필수적이라고 제안합니다. 이를 위해 우리는 에이전트 평가 표준화를 목표로 하는 제안을 소개합니다.

LLM agent benchmark scores are shaped not only by the model but also by the agent harness, environment, evaluator, and inference budget. Unified execution controls these non-model factors by evaluating candidate models under the same configuration, making observed differences more attributable to the models themselves. However, model comparison is only one use of agent benchmarks. Other evaluations compare complete agent systems or test whether a fixed model or system remains stable across predeclared changes in its operating conditions. These results can all be reported under the common label of "LLM agent performance." Our position is that "LLM agent performance" does not denote a single evaluation target. Model comparisons under a reference stack and comparisons of complete agent systems answer different questions, while robustness asks whether either conclusion persists across predeclared conditions. The claim supported by a score therefore depends on the declared candidate boundary and condition policy. We derive implications for leaderboards, result reporting, and benchmark versioning, showing how distinguishing these classes preserves fair comparison while accommodating system innovation and robustness analysis.