MASEval: 모델에서 시스템으로 확장된 다중 에이전트 평가

MASEval: Extending Multi-Agent Evaluation from Models to Systems

LLM 기반 에이전트 시스템의 급속한 발전으로 다양한 프레임워크(smolagents, LangGraph, AutoGen, CAMEL, LlamaIndex 등)가 등장했습니다. 그러나 기존의 벤치마크는 모델 중심적이며, 에이전트 시스템의 구성 방식을 고정하고 다른 시스템 구성 요소 간의 비교를 수행하지 않습니다. 우리는 구현 결정이 성능에 상당한 영향을 미친다는 점을 강조하며, 여기에는 토폴로지, 오케스트레이션 로직, 오류 처리 등의 선택이 포함됩니다. MASEval은 프레임워크에 독립적인 라이브러리를 통해 전체 시스템을 분석 단위로 취급하여 이러한 평가 격차를 해소합니다. 3개의 벤치마크, 3개의 모델, 3개의 프레임워크를 대상으로 체계적인 시스템 수준 비교를 수행한 결과, 프레임워크 선택이 모델 선택만큼 중요함을 확인했습니다. MASEval을 통해 연구자들은 에이전트 시스템의 모든 구성 요소를 탐색할 수 있으며, 이는 체계적인 시스템 설계의 새로운 가능성을 열어줍니다. 또한, 실무자는 자신의 사용 사례에 가장 적합한 구현 방식을 식별할 수 있습니다. MASEval은 MIT 라이선스 하에 제공됩니다: https://github.com/parameterlab/MASEval.

The rapid adoption of LLM-based agentic systems has produced a rich ecosystem of frameworks (smolagents, LangGraph, AutoGen, CAMEL, LlamaIndex, i.a.). Yet existing benchmarks are model-centric: they fix the agentic setup and do not compare other system components. We argue that implementation decisions substantially impact performance, including choices such as topology, orchestration logic, and error handling. MASEval addresses this evaluation gap with a framework-agnostic library that treats the entire system as the unit of analysis. Through a systematic system-level comparison across 3 benchmarks, 3 models, and 3 frameworks, we find that framework choice matters as much as model choice. MASEval allows researchers to explore all components of agentic systems, opening new avenues for principled system design, and practitioners to identify the best implementation for their use case. MASEval is available under the MIT licence https://github.com/parameterlab/MASEval.