시작부터 실패로 귀결되는 경우: 리콜 제어 프로브 카스케이드 기반 LLM 에이전트 에피소드의 조기 중단

Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade

대규모 언어 모델(LLM) 에이전트가 다단계 작업을 수행할 때, 종종 실패로 이어질 경로를 선택하지만, 실패가 명확하게 나타나기 전까지 상당한 연산 자원을 소모합니다. 본 연구에서는 이러한 실패가 에이전트의 내부 표현에서 초기에 예측 가능하다는 것을 보여줍니다. 각 라운드마다 가벼운 프로브를 사용하여 숨겨진 활성화 값을 분석하면, 첫 번째 상호 작용 라운드부터 최종 에피소드의 실패 가능성을 예측할 수 있습니다. 이때, 에이전트의 관찰 가능한 행동만을 읽는 모델은 무작위 수준과 거의 차이가 없습니다. 이러한 신호를 활용하여 실질적인 중단 카스케이드 시스템을 구축했습니다. 각 라운드마다 분포에 독립적인 보정된 게이트를 사용하고, 각 라운드별 리콜 예산을 공동으로 최적화하여 최종적으로 성공적인 에피소드가 사용자 지정한 전역 비율로 모든 게이트를 통과하도록 합니다. 이러한 에피소드 수준의 보장은 실제 배포 환경에서 가장 중요한 요소이며, 거짓 중단 위험은 게이트 전체에 걸쳐 누적됩니다. TextCraft 플랫폼에서 두 가지 에이전트 모델을 사용하여 테스트한 결과, 제안하는 카스케이드 시스템은 90%에서 97%까지 모든 리콜 목표를 달성했으며, 90%의 목표 성능에서 Qwen-2.5-7B 모델은 47.1% +/- 10.3%, Llama-3.2-3B 모델은 37.2% +/- 8.8%의 연산 자원을 절약했습니다. 이는 단일 게이트 정책보다 1.6~1.7배 향상된 수치입니다. 에이전트의 행동 정보만을 사용하는 카스케이드 시스템은 약 절반 수준의 성능을 보였으며, 프로브에 행동 특징을 추가해도 더 이상의 성능 향상은 없었습니다. 이는 숨겨진 상태가 행동에서 파악할 수 있는 정보를 이미 담고 있다는 것을 의미합니다. 마지막으로, 높은 리콜 목표를 달성하기 위한 샘플 복잡성을 분석하여, 연구자들에게 어떤 리콜 수준의 약속이 데이터로 뒷받침될 수 있으며, 그렇지 않은 경우를 명확히 제시합니다. 관련 코드는 곧 공개될 예정입니다.

Large language model (LLM) agents solving multi-step tasks frequently commit to trajectories that are doomed to fail, yet continue to consume substantial inference compute before the failure becomes observable. We show that failure is predictable early from the agent's internal representations: lightweight per-round probes on hidden activations anticipate eventual episode failure as early as the first interaction round, where scorers reading only the agent's observable behavior are barely better than chance. We turn this signal into a practical abort cascade: one distribution-free calibrated gate per round, with per-round recall budgets jointly searched so that eventually-successful episodes survive all gates at a user-specified global rate; this episode-level guarantee is the one that matters in deployment, since false-abort risk accumulates across gates. Across two agent models on TextCraft, the cascade meets every recall target from 90% to 97% and, at the 90% target, saves 47.1% +/- 10.3% (Qwen-2.5-7B) and 37.2% +/- 8.8% (Llama-3.2-3B) of inference compute, 1.6--1.7x the best single-gate policy. An otherwise-identical cascade reading only behavior saves roughly half as much, and adding behavioral features to the probe yields no further gain: the hidden states capture what behavior reveals. Finally, we characterize the sample complexity of certifying high recall targets, telling practitioners which recall promises their data can, and provably cannot, back. The code will be released soon.