AdaptEvolve: 적응형 모델 선택을 통한 진화형 AI 에이전트의 효율성 향상

AdaptEvolve: Improving Efficiency of Evolutionary AI Agents through Adaptive Model Selection

진화형 에이전트 시스템은 추론 과정에서 대규모 언어 모델(LLM)을 반복적으로 호출함으로써 계산 효율성과 추론 능력 간의 상충 관계(trade-off)를 심화시킨다. 이러한 환경은 핵심적인 질문을 제기한다: 에이전트가 어떻게 계산 효율성을 유지하면서 현재의 생성 단계에 충분한 능력을 갖춘 LLM을 동적으로 선택할 수 있을까? 모델 캐스케이드(model cascades)가 이러한 상충 관계의 균형을 맞추는 실용적인 메커니즘을 제공하지만, 기존의 라우팅 전략은 보통 정적 휴리스틱이나 외부 컨트롤러에 의존하며 모델의 불확실성을 명시적으로 고려하지 않는다. 우리는 실시간 해결 가능성을 추정하기 위해 내재적 생성 신뢰도를 활용하는 진화형 순차적 개선 프레임워크 내에서, 다중 LLM 진화형 개선을 위한 적응형 LLM 선택 방법인 AdaptEvolve를 제안한다. 실험 결과에 따르면, 신뢰도 기반 선택은 유리한 파레토 프론티어(Pareto frontier)를 달성하여 정적 대형 모델 베이스라인의 상한 정확도를 97.5% 유지하는 동시에 벤치마크 전반에서 총 추론 비용을 평균 37.9% 절감하는 것으로 나타났다. 관련 코드는 https://github.com/raypretam/adaptive_llm_selection 에서 확인할 수 있다.

Evolutionary agentic systems intensify the trade-off between computational efficiency and reasoning capability by repeatedly invoking large language models (LLMs) during inference. This setting raises a central question: how can an agent dynamically select an LLM that is sufficiently capable for the current generation step while remaining computationally efficient? While model cascades offer a practical mechanism for balancing this trade-off, existing routing strategies typically rely on static heuristics or external controllers and do not explicitly account for model uncertainty. We introduce AdaptEvolve: Adaptive LLM Selection for Multi-LLM Evolutionary Refinement within an evolutionary sequential refinement framework that leverages intrinsic generation confidence to estimate real-time solvability. Empirical results show that confidence-driven selection yields a favourable Pareto frontier, reducing total inference cost by an average of 37.9% across benchmarks while retaining 97.5% of the upper-bound accuracy of static large-model baselines. Our code is available at https://github.com/raypretam/adaptive_llm_selection.