비평 경험 저장소: LLM 에이전트를 위한 자체 진화형 단계별 신뢰도 추정

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

LLM 에이전트는 외부 환경에서 작동하며, 각 행동은 이후 결정에 영향을 미치는 상태를 변화시키고, 단 하나의 잘못된 행동으로 인해 예산 낭비가 발생하거나 최종 실패가 관찰되기 훨씬 전에 되돌릴 수 없는 부작용을 유발할 수 있습니다. 따라서 안정적인 배포를 위해서는 *단계별 신뢰도 추정*이 필수적입니다. 이는 제안된 각 행동이 얼마나 효과적인지에 대한 보정된 확률로, 행동 실행 *전에* 제공되어야 합니다. 기존 LLM 신뢰도 추정기는 주어진 프롬프트에 대한 응답을 평가하도록 설계되었지만, 에이전트의 신뢰도는 실행 결과에도 따라 달라집니다. 즉, 유사한 상황에서 유사한 행동이 환경의 반응 이후 실제로 목표 달성에 기여했는지 여부가 중요합니다. 본 논문에서는 자체 진화형 비평 프레임워크인 exttt{\method} ( exttt{\methodshort})를 소개합니다. 이 프레임워크에서 LLM 비평기는 자신의 과거 판단과 그 결과로 나타난 관찰 데이터를 축적합니다. 각 실행 경로가 완료된 후, 전체 실행 피드백을 확인한 후회 기반 LLM이 각 단계가 얼마나 효과적이었는지에 대해 투표합니다. 이렇게 생성된 가짜 레이블은 메모리 저장소에 저장되며, 유사한 단계가 다시 발생할 때마다 관련 경험(효과적인 것과 비효과적인 것)이 비평기의 프롬프트로 검색되어 활용됩니다. exttt{\methodshort}는 별도의 학습 과정 없이 작동하며, 정답으로 레이블링된 단계 정보가 필요하지 않습니다. 세 가지 에이전트 벤치마크와 세 가지 비평기 백본을 사용하여 실험한 결과, exttt{\methodshort}는 모든 데이터셋-비평기 조합에서 가장 높은 보정률(ECE 및 Brier)과 순위 정확도(AUC)를 달성했으며, 가장 강력한 학습 없이 작동하는 기준 모델 대비 ECE를 최대 54%까지 감소시켰습니다.

LLM agents act in external environments where each action changes the state that later decisions condition on, and where a single wrong step can waste interaction budget or trigger irreversible side effects long before the final failure is observed. Reliable deployment therefore requires \emph{step-level confidence estimation}: a calibrated probability that each proposed action is productive, available \emph{before} the action is executed. Existing LLM confidence estimators are designed to score a response from the given prompt, but agent confidence also depends on execution consequences: whether similar actions in similar situations actually advanced the task after the environment responded. We introduce the \method (\methodshort), a self-evolving critic framework in which an LLM critic accumulates evidence from its own past judgments and their observed consequences. After each trajectory, a hindsight LLM that sees the full execution feedback votes on whether each step was productive. The resulting pseudo-labels populate a memory bank from which related productive and unproductive experiences are retrieved into the critic's prompt whenever a similar step recurs. \methodshort requires no training and uses no ground truth step labels. Across three agent benchmarks and three critic backbones, \methodshort attains the best calibration (ECE and Brier) and ranking (AUC) in every dataset--critic combination, reducing ECE by up to $54\%$ relative to the strongest training-free baseline.