E-Bench: 실제 제품 시나리오에서 다단계 도구 활용 에이전트 성능 평가

E-Bench: Benchmarking Multi-Step Tool-Use Agents in Real-World Product Scenarios

대규모 언어 모델(LLM)은 점차적으로 여러 단계를 거쳐 상태를 변경하는 환경과 상호 작용하는 에이전트로 사용되고 있습니다. 여기에는 숨겨진 정보를 수집하고, 도구 호출을 구성하고, 상태 변화를 수행하는 기능이 포함됩니다. 이러한 기능을 다단계 도구 활용이라고 합니다. 기존의 벤치마크는 도구 활용 에이전트 평가에 기여했지만, 종종 개별 API 호출, 짧은 실행 경로 또는 확장하거나 제어하기 어려운 설정에 초점을 맞추었습니다. 본 논문에서는 Honor of Kings, QQ Music, Tencent Meeting의 세 가지 제품 영역에 걸쳐 323개의 상태 변화 작업을 포함하는 완전한 합성 벤치마크인 E-Bench를 소개합니다. E-Bench는 환경 생성과 작업 생성을 분리하여 설계되었습니다. 그래프 기반 데이터베이스 채우기는 재사용 가능한 제품 환경을 구축하고, 제너레이터-솔버 비대칭성은 정보 격차와 도구 격차를 모두 가진 작업을 생성하여 에이전트가 숨겨진 데이터를 발견하고 상태 변화 전에 여러 도구 호출을 구성하도록 요구합니다. 결과는 데이터베이스 상태 차이를 기반으로 결정적으로 평가됩니다. E-Bench의 환경과 작업 모두 합성되었기 때문에, 환경 수준에서 제어가 가능하며 작업 수준에서 확장성이 뛰어납니다. 최첨단 11개의 LLM을 사용하여 성능을 평가한 결과, 다단계 도구 활용은 여전히 어려운 과제임이 나타났습니다. 가장 강력한 모델에서도 Pass^3 지표가 60% 미만이며, E-Bench-Code 확장을 통해 코드 실행 기능을 추가했음에도 불구하고 신뢰성(Pass^3)은 70% 미만으로 유지됩니다.

Large Language Models (LLMs) are increasingly deployed as agents that interact with stateful environments over multiple steps: gathering hidden information, composing tool calls, and committing state changes. We refer to this capability as multi-step tool use. Existing benchmarks have advanced tool-use agent evaluation, but often focus on isolated API calls, short trajectories, or settings that are difficult to scale or control. We introduce E-Bench, a fully synthetic benchmark with 323 state-changing tasks across three product domains: Honor of Kings, QQ Music, and Tencent Meeting. E-Bench decouples environment synthesis from task synthesis: graph-guided database filling builds reusable, orphan-free product environments, while generator-solver asymmetry creates tasks with both an information gap and a tool gap, requiring agents to discover hidden data and compose multiple tool calls before changing state. Outcomes are graded deterministically by database-state diffs. Since both environments and tasks are synthetic, E-Bench is controllable at the environment level and scalable at the task level. Benchmarking 11 cutting-edge LLMs shows that multi-step tool use remains challenging: Pass^3 stays below 60% for the strongest models, and even with code execution in the E-Bench-Code extension, reliability (Pass^3) remains below 70%.