AsyncTool: 다중 작업 환경에서 비동기 함수 호출 기능 평가

AsyncTool: Evaluating the Asynchronous Function Calling Capability under Multi-Task Scenarios

대규모 언어 모델(LLM) 기반 에이전트는 복잡한 작업을 해결하기 위해 외부 도구를 사용하는 데 강력한 능력을 보여주었습니다. 그러나 기존의 평가는 종종 도구 사용의 시간적 측면, 특히 도구 응답 지연 시간이 미치는 영향을 간과하며, 일반적으로 단일 작업 환경으로 제한됩니다. 실제 애플리케이션에서는 여러 작업이 동시에 수행되어야 하는 경우가 많으며, 전체 효율성은 에이전트가 도구 응답을 기다리는 동안 유휴 시간을 활용할 수 있는지 여부에 따라 달라집니다. 우리는 이러한 기능을 비동기 도구 호출이라고 부릅니다. 이를 평가하기 위해, 우리는 지연된 도구 피드백이 있는 상호 작용형 다중 작업 도구 사용 환경에서 LLM 기반 에이전트를 평가하는 벤치마크인 AsyncTool을 제안합니다. AsyncTool은 여러 가지 이질적인 작업을 동시에 제시하고 실행 중에 실제 도구 응답 지연 시간을 시뮬레이션합니다. 하이브리드 데이터 진화 전략을 사용하여 다양한 비동기 다중 작업 데이터 세트를 구축했으며, 이는 다양한 시나리오와 도구 사용 패턴을 포괄합니다. 우리는 단계, 부분 작업 및 전체 작업 수준에서 모델을 평가하고, 작업 조정 및 완료 효율성을 측정하기 위한 효율성 지향적인 메트릭을 소개했습니다. 광범위한 실험 결과, 지연된 도구 피드백은 현재 에이전트에 상당한 어려움을 야기하며 성능 저하를 초래하는 것으로 나타났습니다. 작업 전환, 종속성 추적 및 상태 유지 기능을 더 잘 수행하는 모델이 AsyncTool에서 더 뛰어난 성능을 보였습니다. 우리의 분석은 현재 도구를 사용하는 에이전트의 주요 실패 요소를 파악하고 향후 시간 추론 및 조정 능력이 강화된 시스템 설계에 대한 실질적인 통찰력을 제공합니다.

Large language model (LLM)-based agents have shown strong capabilities in using external tools to solve complex tasks. However, existing evaluations often overlook the temporal dimension of tool use, especially the impact of tool response latency, and are usually limited to single-task settings. In real-world applications, multiple tasks often need to be executed concurrently, and overall efficiency depends on whether an agent can use idle time while waiting for tool responses. We refer to this capability as asynchronous tool calling. To evaluate it, we propose AsyncTool, a benchmark for assessing LLM-based agents in interactive multi-task tool-use environments with delayed tool feedback. AsyncTool presents multiple heterogeneous tasks simultaneously and simulates realistic tool response latency during execution. Using a hybrid data evolution strategy, we construct a diverse asynchronous multitasking dataset that covers multiple scenarios and tool-use patterns. We evaluate models at the step, sub-task, and task levels, and introduce efficiency-oriented metrics to measure task coordination and completion efficiency. Extensive experiments show that delayed tool feedback poses substantial challenges to current agents and leads to clear performance degradation. Models that better coordinate task switching, dependency tracking, and state maintenance achieve stronger performance on AsyncTool. Our analysis identifies key failure modes of current tool-using agents and provides practical insights for designing future systems with stronger temporal reasoning and coordination capabilities.