점수는 결정이 아니다: LLM 에이전트의 도구 확보를 위한 비용 인지 중단 전략

Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents

LLM 에이전트가 검색 엔진, 데이터베이스 및 연결 장치와 같은 다양한 외부 서비스에 점점 더 의존함에 따라, 에이전트 시스템은 근본적인 도구 선택 문제를 안고 있습니다. 너무 적은 수의 도구를 확보하면 작업 수행에 필요한 정보가 부족해지고, 너무 많은 도구를 사용하면 비용 증가, 컨텍스트 부하 및 개인 정보 노출 문제가 발생합니다. 라우터와 검색기는 후보 도구를 관련성에 따라 순위를 매길 수 있지만, 순위만으로는 얼마나 많은 도구를 선택할 가치가 있는지 결정할 수 없습니다. 기존 방법들은 다양한 비용 구조 하에서 최적의 도구 확보 방식을 제시하지 못했습니다. 본 연구에서는 이 문제를 순위가 매겨진 도구 목록에 대한 비용 인지형 마진 결정 중심 중단 (Cost-Aware Marginal Decision-Focused Stopping, CAM-DF)으로 정의하고, 더 작고 해석하기 쉬운 변형 모델인 CAM-DF-lite를 제안합니다. 우리는 현재 중단하는 것과 최적의 이어지는 동작 사이의 오프라인 차이를 직접 학습하며, 이 차이의 부호가 결정을 나타내고, 크기는 각 오류에 대한 위험도를 반영합니다. 우리는 이러한 목표가 중단 목표와 베이지안적으로 일치하고, 다양한 비용 환경에서 점수만 사용하는 규칙은 최적이 아니라는 것을 증명했습니다. 1,343개의 작업과 5가지 도구 사용 영역을 대상으로 실험을 진행한 결과, CAM-DF는 배포 가능한 방법 중에서 가장 높은 성능을 보였으며, 모든 5가지 순위 정보 소스와 2가지 비용 환경에서 예측 후 임계값 기반 모델보다 우수한 성능을 나타냈습니다. 본 연구의 접근 방식은 다양한 비용 구조와 높은 비용 제약 조건 하에서 최첨단 기술이며, 특히 낮은 정확도의 순위 정보에서 더 큰 성능 향상을 보였습니다. 실제 실행 환경에서 CAM-DF는 전체 도구에 대한 접근 권한을 가진 경우보다 37% 적은 수의 도구를 사용하면서도 유사한 수준의 작업 성공률을 유지했습니다. CAM-DF 패밀리는 기존 LLM을 미세 조정하지 않고도 기존 도구 순위를 활용하여 비용 효율적인 도구 확보 결정을 내릴 수 있도록 하는 가벼운 사전 실행 플러그인입니다.

As LLM agents increasingly depend on diverse external services such as search engines, databases, and connectors, agent harnesses face a fundamental tool-selection challenge: acquiring too few tools leaves the task under-informed, while too many adds cost, context load, and privacy exposure. Routers and retrievers can rank candidate tools by relevance, but a ranking alone does not determine how many are worth selecting. Existing approaches leave acquisition under heterogeneous costs unaddressed. We formulate this decision as cost-aware marginal decision-focused stopping (CAM-DF) over ranked tool prefixes, with CAM-DF-lite as a compact interpretable variant. We train directly on the offline gap between stopping now and the best continuation: its sign labels the decision, its magnitude weights each error by the payoff at stake. We prove this objective is Bayes-aligned with the stopping target and that score-only rules are suboptimal under heterogeneous costs. We evaluate on 1,343 tasks across five tool-use domains. On $τ$-bench Retail, CAM-DF attains the highest payoff among deployable methods, with gains over a predict-then-threshold baseline across all five ranking sources and two cost regimes. Our approach is state-of-the-art under heterogeneous costs and high cost pressure, with larger gains under weaker rankings. In live execution, CAM-DF exposes the agent to 37\% fewer tools than full access while maintaining comparable task success. The CAM-DF family is a lightweight pre-execution plugin that turns existing tool rankings into lower-cost acquisition decisions without fine-tuning the underlying LLM.