SearchAuditor: 장기 검색 에이전트의 오류 진단 및 원인 분석

SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents

심층 검색 에이전트는 복잡하고 취약한 방식으로, 웹과의 장기간 상호 작용을 통해 어려운 질문에 답합니다. 작은 추론 오류가 긴 과정과 노이즈를 거치면서 유창하지만 부정확한 답변으로 이어질 수 있습니다. 이러한 실패의 원인을 진단하는 것은 어렵습니다. 왜냐하면 극도로 긴 실행 기록을 수동으로 검토해야 하는데, 이는 인간의 능력 범위를 벗어날 수 있기 때문입니다. 따라서 우리는 LLM 감사 시스템이 이러한 오류를 식별하고, 원인을 분석하며, 수정할 수 있는지 평가하는 벤치마크인 SearchAuditBench를 소개합니다. SearchAuditBench는 8개의 오픈 가중 모델에서 수집된 1,243개의 실패한 시퀀스로 구성되어 있으며, 각 시퀀스는 평균 73.1개의 메시지와 65.1K 토큰을 포함합니다. 각 시퀀스는 전문가가 중요한 오류 단계, 검색 관련 근본 원인 및 참조 수정 사항과 함께 평가 기준을 사용하여 주석 처리했습니다. 또한, 증거 기반 판단을 통해 검색 에이전트의 실패를 효과적으로 식별하고, 원인을 분석하며, 수정을 수행하는 다각적인 감사 프레임워크인 SearchAuditor를 제안합니다. 실험 결과에 따르면, GPT-5.5와 같은 최첨단 모델로 구동되는 가장 강력한 기본 모델조차도 26.6%의 낮은 전체 성공률을 보입니다. 반면, 우리 제안하는 SearchAuditor는 다양한 최첨단 모델에서 모든 기본 모델보다 일관되게 우수한 성능을 보여주며, 32.3%의 전체 성공률을 달성합니다. 또한, 수정 사항을 통해 실패한 실행을 재개하면 에이전트가 오류로부터 더 잘 회복할 수 있습니다.

Deep search agents tackle challenging questions through long-horizon web interactions, a process that is both complex and fragile: small reasoning errors may propagate through long, noisy trajectories into fluent but incorrect answers. Diagnosing such failures is difficult, requiring the manual inspection of extremely long execution traces, which could be beyond human capacity. We therefore introduce SearchAuditBench, a benchmark that evaluates whether LLM auditors can localize, attribute, and repair these failures, thereby reducing the human burden. SearchAuditBench comprises 1,243 failed trajectories, averaging 73.1 messages and 65.1K tokens, collected from eight open-weight models on five deep-search benchmarks, each expert-annotated with the critical error step, a search-specific root cause, and a reference repair with grading rubrics. We further propose SearchAuditor, a multi-perspective auditing framework that effectively localizes, attributes, and repairs search-agent failures through evidence-grounded adjudication. Experimental results show that even the strongest baseline, when powered by a frontier model like GPT-5.5, attains only a 26.6% end-to-end pass rate. In contrast, our SearchAuditor consistently outperforms all baselines across different frontier models, achieving an end-to-end pass rate of 32.3%, and resuming failed runs with its repairs enables agents to better recover from errors.