에이전트 AI 시스템 구성 학습

Learning to Configure Agentic AI Systems

LLM 기반 에이전트 시스템을 구성하는 것은 방대한 조합 설계 공간에서 워크플로우, 도구, 토큰 예산 및 프롬프트를 선택하는 작업을 포함하며, 오늘날에는 주로 고정된 대형 템플릿이나 수동으로 조정된 휴리스틱을 통해 처리됩니다. 이는 쉽거나 어려운 입력 쿼리 모두에 동일하고 번거로운 구성을 적용하는 경우가 많아, 불안정한 동작과 불필요한 연산을 초래합니다. 우리는 에이전트 구성을 쿼리별 의사 결정 문제로 정의하고, 강화 학습을 사용하여 이러한 구성을 동적으로 맞춤화하는 경량 계층적 정책을 학습하는 ARC(Agentic Resource & Configuration learner)를 소개합니다. 추론 및 도구 증강 질의응답을 아우르는 여러 벤치마크에서, 학습된 정책은 수동으로 설계된 강력한 모델 및 기타 베이스라인들을 일관되게 능가했으며, 토큰 및 런타임 비용을 절감하면서도 최대 25% 더 높은 작업 정확도를 달성했습니다. 이러한 결과는 쿼리별 에이전트 구성을 학습하는 것이 '천편일률적인(one size fits all)' 설계에 대한 강력한 대안임을 입증합니다.

Configuring LLM-based agent systems involves choosing workflows, tools, token budgets, and prompts from a large combinatorial design space, and is typically handled today by fixed large templates or hand-tuned heuristics. This leads to brittle behavior and unnecessary compute, since the same cumbersome configuration is often applied to both easy and hard input queries. We formulate agent configuration as a query-wise decision problem and introduce ARC (Agentic Resource & Configuration learner), which learns a light-weight hierarchical policy using reinforcement learning to dynamically tailor these configurations. Across multiple benchmarks spanning reasoning and tool-augmented question answering, the learned policy consistently outperforms strong hand-designed and other baselines, achieving up to 25% higher task accuracy while also reducing token and runtime costs. These results demonstrate that learning per-query agent configurations is a powerful alternative to "one size fits all" designs.