효율적인 에이전트를 향하여: 메모리, 도구 학습 및 계획

Toward Efficient Agents: Memory, Tool learning, and Planning

최근 몇 년간 대규모 언어 모델을 에이전트 시스템으로 확장하는 것에 대한 관심이 증가하고 있습니다. 에이전트의 효과성은 계속 향상되어 왔지만, 실제 배포에 필수적인 효율성은 종종 간과되었습니다. 따라서 본 논문은 지연 시간, 토큰, 단계 수 등의 비용을 고려하여 에이전트의 세 가지 핵심 구성 요소인 메모리, 도구 학습, 계획 측면에서 효율성을 조사합니다. 에이전트 시스템 자체의 효율성을 다루는 포괄적인 연구를 목표로, 우리는 구현 방식은 다르지만 압축 및 관리를 통한 맥락(context) 제한, 도구 호출을 최소화하기 위한 강화 학습 보상 설계, 효율성 향상을 위한 제어된 검색 메커니즘 도입 등 공통된 상위 수준의 원칙으로 수렴하는 다양한 최신 접근 방식들을 검토하고 자세히 논의합니다. 이에 따라 우리는 효율성을 두 가지 상호 보완적인 방식으로 특징짓습니다. 고정된 비용 예산 하에서의 효과성 비교와, 유사한 수준의 효과성에서의 비용 비교가 그것입니다. 이러한 트레이드오프는 효과성과 비용 간의 파레토 프론티어(Pareto frontier)를 통해 살펴볼 수도 있습니다. 이러한 관점에서 우리는 이들 구성 요소에 대한 평가 프로토콜을 요약하고, 벤치마크 및 방법론 연구에서 흔히 보고되는 효율성 지표들을 통합하여 효율성 지향 벤치마크들을 검토합니다. 또한, 유망한 통찰력을 제공하는 것을 목표로 주요 과제와 향후 연구 방향에 대해 논의합니다.

Recent years have witnessed increasing interest in extending large language models into agentic systems. While the effectiveness of agents has continued to improve, efficiency, which is crucial for real-world deployment, has often been overlooked. This paper therefore investigates efficiency from three core components of agents: memory, tool learning, and planning, considering costs such as latency, tokens, steps, etc. Aimed at conducting comprehensive research addressing the efficiency of the agentic system itself, we review a broad range of recent approaches that differ in implementation yet frequently converge on shared high-level principles including but not limited to bounding context via compression and management, designing reinforcement learning rewards to minimize tool invocation, and employing controlled search mechanisms to enhance efficiency, which we discuss in detail. Accordingly, we characterize efficiency in two complementary ways: comparing effectiveness under a fixed cost budget, and comparing cost at a comparable level of effectiveness. This trade-off can also be viewed through the Pareto frontier between effectiveness and cost. From this perspective, we also examine efficiency oriented benchmarks by summarizing evaluation protocols for these components and consolidating commonly reported efficiency metrics from both benchmark and methodological studies. Moreover, we discuss the key challenges and future directions, with the goal of providing promising insights.