LiveBrowseComp: 검색 에이전트는 실제로 탐색하는 것인가, 아니면 이미 알고 있는 것을 확인하는 것인가?

LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?

LLM 기반 검색 에이전트가 진정으로 탐색을 수행하는지, 아니면 웹을 사용하여 이미 알고 있는 정보를 확인하는지를 연구합니다. BrowseComp 데이터셋과 세 가지 분석 방법을 통해 이 질문에 대한 답을 찾습니다. 우리의 분석 결과는 내재적 지식 의존성(Intrinsic Knowledge Dependence, IKD)을 보여줍니다. 도구 접근 권한이 있음에도 불구하고, 에이전트들은 종종 외부 증거보다는 모델에 미리 저장된 내재적 지식에 의존하는 경향이 있습니다. 에이전트는 최대 44.5%의 BrowseComp 질문에 도구를 사용하지 않고 답하고, 검색 쿼리의 절반 이상이 검색 결과가 아닌 내부적으로 생성된 가설에서 비롯되며, 답변을 뒷받침하는 증거가 제거되면 기존의 폐쇄형 데이터셋(closed-book) 기반 성능보다 더 낮은 성능을 보입니다. 이러한 결과는 정적인 검색 벤치마크가 증거 기반 발견보다는 기억에 의존한 확인을 장려할 수 있으며, 에이전트가 이미 알고 있는 것과 찾을 수 있는 것을 혼동시킬 수 있음을 시사합니다. 그런 다음, 내재적 지식 범위를 넘어 에이전트를 평가하기 위해 설계된 심층 검색 벤치마크인 LiveBrowseComp를 소개합니다. LiveBrowseComp는 335개의 사람이 작성한 질문으로 구성되어 있으며, 답변은 벤치마크 구축 이전 90일 이내에 게시된 사실에 의존합니다. 여섯 개의 업데이트된 출처에서 데이터를 가져왔으며, 전 세계적으로 중요한 사건을 제외하기 위해 필터링되었습니다. LiveBrowseComp에서 평가된 모든 에이전트는 폐쇄형 데이터셋 정확도가 2% 미만이며, 검색 기능을 추가한 결과는 BrowseComp 기준에 비해 25-40점 감소했습니다. 또한 이전 모델 순위가 더 이상 성능을 안정적으로 예측하지 못합니다. LiveBrowseComp는 https://huggingface.co/datasets/Forival/LiveBrowseComp 에서 이용 가능합니다.

Are LLM-based search agents genuinely searching, or using the web to verify what they already know? We study this question on BrowseComp with three diagnostics. Our analysis reveals Intrinsic Knowledge Dependence (IKD): even with tool access, agents often rely on intrinsic knowledge -- information encoded in the model before retrieval -- rather than on external evidence. Agents answer up to 44.5% of BrowseComp questions without tools, generate more than half of their search queries from internally produced hypotheses rather than retrieved leads, and perform worse than closed-book baselines when answer-supporting evidence is removed. These results suggest that static search benchmarks can reward memory-backed verification rather than evidence-driven discovery, conflating what agents already know with what they can find. We then introduce LiveBrowseComp, a deep-search benchmark designed to evaluate agents beyond intrinsic coverage. It contains 335 human-authored questions whose answers depend on facts published within the 90 days preceding benchmark construction, drawn from six updated sources and filtered to exclude globally salient events. On LiveBrowseComp, all evaluated agents fall below 2% closed-book accuracy, search-augmented scores drop by 25-40 points relative to BrowseComp, and prior model rankings no longer reliably predict performance. LiveBrowseComp is available at https://huggingface.co/datasets/Forival/LiveBrowseComp.