검증, 수정, 반복 또는 중단? LLM 에이전트의 노이즈가 있는 검증-수정 루프를 위한 강력한 중단 전략

Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents

검증-수정 루프는 대규모 언어 모델(LLM) 에이전트가 코드 생성, 수학적 추론 및 도구 사용 과정에서 잘못된 계획을 수정하는 데 널리 사용되는 방법입니다. 검증기와 수정기가 모두 노이즈를 포함할 때, 수정 작업은 이미 올바른 계획을 손상시킬 수 있으며, 보고되는 성공률은 계속 증가하지만 실제 유효성은 감소하므로, 기존의 방법들은 언제 수정 작업을 중단해야 하는지에 대한 명확한 근거가 부족합니다. 본 논문에서는 노이즈가 있는 검증-수정-반복(VRR) 루프를 위한 강력한 중단 프레임워크인 VRR-Stop을 제안합니다. 4가지 파라미터로 구성된 노이즈 모델은 검증기의 오탐(false acceptance) 및 오결정(false rejection)과 수정기의 수리 및 손상 행위를 분리합니다. 베이지안 필터링을 통해 반복적인 검증 결과를 분석하여 실제 유효성을 추정하고, 이 추정치를 기반으로 루프는 진정한 주변 이득의 부호에 따라 계획을 유지하거나 수정합니다. 이는 모든 파라미터를 정확하게 복원하는 것이 아니라 부호 식별(sign identifiability)만 필요합니다. 검증기의 성능이 떨어져 판별력이 거의 없을 경우, 교정 자체가 실패하고 추정 오류는 중단 결정을 뒤집을 수 있으므로, 우리는 VRR-Stop과 함께 파라미터 추정이 필요 없는 안전 장치인 VRR-Guard를 사용합니다. VRR-Guard는 충분한 검증 마진이 있을 때만 기존 후보를 대체합니다. GSM8K 데이터셋에 대한 실험에서, VRR-Stop은 고정된 5라운드 수정 방식보다 최종적인 실제 유효성을 60.6% 향상시켰으며, 평균적으로 0.72회의 수정 라운드를 사용했습니다. 다양한 환경에서, 중단 성공률은 검증기의 판별력과 결정 마진에 의해 좌우되며, 추정 오류의 절대 크기에 의존하지 않습니다.

Verify-repair loops are a standard means for large language model (LLM) agents to correct faulty plans in code generation, mathematical reasoning, and tool use. When both the verifier and the repairer are noisy, repair can damage already-correct plans, and reported acceptance keeps rising while true validity falls, so existing methods lack a principled basis for deciding when repair should stop. We propose VRR-Stop, a robust stopping framework for noisy verify-repair-repeat (VRR) loops. A four-parameter noise model separates verifier false acceptance and false rejection from the repair and damage behavior of the repairer. Belief filtering turns repeated verification votes into an estimate of committed validity, and the loop commits or repairs according to the sign of the true marginal gain, which requires only sign identifiability rather than accurate recovery of all parameters. When verifier discrimination approaches zero, calibration itself fails and estimation error can flip the stopping sign, so we pair VRR-Stop with VRR-Guard, an estimation-free fallback that replaces the incumbent candidate only under a sufficient verification margin. On a GSM8K stress setting, VRR-Stop improves final true validity by 60.6 percentage points over fixed five-round repair at an average cost of 0.72 repair rounds. Across settings, stopping reliability is governed jointly by verifier discrimination and the decision margin rather than by the absolute size of estimation error.