REFLECT: LLM 에이전트 추적에서 발생하는 은닉 오류에 대한 개입 기반 오류 원인 분석

REFLECT: Intervention-Supported Error Attribution for Silent Failures in LLM Agent Traces

최근 대규모 언어 모델(LLM) 에이전트는 복잡한 작업을 수행하기 위해 긴 계획 및 실행 과정을 거치지만, 완료된 추적 내의 오류를 찾는 능력은 여전히 부족하며, 특히 extit{은닉 오류} 상황에서 더욱 그렇습니다. 기존 방법들은 분류기나 LLM 평가기를 사용하여 의심스러운 단계를 예측하거나 재시도를 통해 올바른 답을 복구하지만, 이러한 방법들은 개입 결과로부터 extit{오류 원인 분석 자체를 개선하는} 과정을 포함하지 않습니다. 본 논문에서는 이러한 격차를 해소하기 위해 exttt{\methodname}이라는 방법을 제안합니다. 이 방법은 후보 오류 단계를 진단하고, 진단에 특화된 패치를 적용하여 통제된 재실행을 통해 테스트하며, 검증된 결과 변화를 대비 증거로 활용하여 최종적인 오류 원인 분석 결과를 개선합니다. 4가지 서로 다른 도메인의 다중 단계 추론 벤치마크에서 exttt{\methodname}은 동일한 감사자(auditor) 방법을 사용한 다른 방법들보다 가장 높은 위치 정확도를 달성했으며, 특히 구조화된 도구 활용 추적에서 더 큰 성능 향상을 보였습니다. 또한, 정답 정보가 없는 경우에도 유용한 위치 정보를 제공합니다.

Large language model (LLM) agents now solve complex tasks through long plan-and-execution traces, yet the ability to locate errors in a completed traces still lags far behind, especially in the \emph{silent failure} regime. Existing approaches predict suspect steps via classifiers or LLM judges, or recover correct answers via retry, but none feed the intervention outcome back to \emph{refine the attribution itself}. We propose \methodname, a method that closes this gap by diagnosing a candidate error step, testing it through controlled replay with a diagnosis-specific patch, and using the verified outcome flip as contrastive evidence to refine the final attribution. Across four localization benchmarks spanning multi-hop reasoning across domains, \methodname achieves the highest localization accuracy among same-auditor methods across all four benchmarks, with the largest gains on structured tool-use traces, while providing actionable localization even when ground-truth answers are unavailable.