UIS-Digger: 실세계의 색인되지 않은 정보 검색을 위한 종합적인 연구 에이전트 시스템 개발

UIS-Digger: Towards Comprehensive Research Agent Systems for Real-world Unindexed Information Seeking

최근 LLM 기반 정보 검색 에이전트의 발전은 기존 벤치마크에서 기록적인 성능을 달성했습니다. 그러나 이러한 에이전트는 여전히 검색 엔진에 색인된 지식에 크게 의존하며, 중요한 사각지대인 '색인되지 않은 정보 검색(UIS)' 문제를 야기합니다. 본 논문에서는 검색 엔진 크롤러에 의해 제대로 수집되지 않는 중요한 정보, 즉 간과된 콘텐츠, 동적 웹페이지 및 임베디드 파일 등을 포함하는 UIS 문제를 정의하고 탐구합니다. UIS는 그 중요성에도 불구하고 아직 제대로 연구되지 않은 과제입니다. 이러한 격차를 해소하기 위해, 우리는 110개의 전문가가 직접 작성한 질의응답 쌍으로 구성된 최초의 전용 UIS 벤치마크인 UIS-QA를 소개합니다. 주목할 점은, 최첨단 에이전트조차도 UIS-QA에서 현저한 성능 저하를 보인다는 것입니다 (예: GAIA에서 70.90, BrowseComp-zh에서 46.70에서 UIS-QA에서 24.55으로). 이는 UIS 문제의 심각성을 강조합니다. 이러한 문제를 완화하기 위해, 우리는 이중 모드 브라우징을 통합하고 웹페이지 검색과 파일 파싱을 동시에 수행할 수 있는 새로운 멀티 에이전트 프레임워크인 UIS-Digger를 제안합니다. SFT 및 RFT 훈련 전략을 사용하여 최적화된 비교적 작은 약 300억 개의 파라미터를 가진 LLM을 기반으로 하는 UIS-Digger는 27.27%의 강력한 기본 성능을 보여주며, O3 및 GPT-4.1과 같은 정교한 LLM을 통합한 시스템보다 뛰어난 성능을 보입니다. 이는 효과적이고 종합적인 정보 검색을 위해서는 색인되지 않은 소스와의 적극적인 상호 작용이 중요하다는 것을 보여줍니다. 본 연구는 현재 에이전트 평가 패러다임의 근본적인 한계를 밝히는 동시에, UIS 연구를 발전시키기 위한 첫 번째 도구 세트를 제공하며, 견고한 정보 검색 시스템을 위한 새로운 가능성을 제시합니다.

Recent advancements in LLM-based information-seeking agents have achieved record-breaking performance on established benchmarks. However, these agents remain heavily reliant on search-engine-indexed knowledge, leaving a critical blind spot: Unindexed Information Seeking (UIS). This paper identifies and explores the UIS problem, where vital information is not captured by search engine crawlers, such as overlooked content, dynamic webpages, and embedded files. Despite its significance, UIS remains an underexplored challenge. To address this gap, we introduce UIS-QA, the first dedicated UIS benchmark, comprising 110 expert-annotated QA pairs. Notably, even state-of-the-art agents experience a drastic performance drop on UIS-QA (e.g., from 70.90 on GAIA and 46.70 on BrowseComp-zh to 24.55 on UIS-QA), underscoring the severity of the problem. To mitigate this, we propose UIS-Digger, a novel multi-agent framework that incorporates dual-mode browsing and enables simultaneous webpage searching and file parsing. With a relatively small $\sim$30B-parameter backbone LLM optimized using SFT and RFT training strategies, UIS-Digger sets a strong baseline at 27.27\%, outperforming systems integrating sophisticated LLMs such as O3 and GPT-4.1. This demonstrates the importance of proactive interaction with unindexed sources for effective and comprehensive information-seeking. Our work not only uncovers a fundamental limitation in current agent evaluation paradigms but also provides the first toolkit for advancing UIS research, defining a new and promising direction for robust information-seeking systems.