GrepSeek: 직접적인 코퍼스 상호작용을 위한 검색 에이전트 학습

GrepSeek: Training Search Agents for Direct Corpus Interaction

대규모 언어 모델(LLM) 기반 검색 에이전트는 여러 차례의 추론과 정보 검색을 통해 지식 집약적인 언어 작업에서 뛰어난 성능을 보여주었습니다. 기존 시스템 대부분은 키워드 또는 자연어 쿼리를 받아 미리 계산된 문서 표현 인덱스를 사용하여 순위가 매겨진 문서 목록을 반환하는 검색기를 사용합니다. 본 연구에서는 검색 에이전트가 코퍼스 자체를 검색 환경으로 간주하고 실행 가능한 셸 명령을 통해 증거를 찾는 보완적인 관점을 탐구합니다. 우리는 대규모 텍스트 코퍼스에서 증거를 찾고, 필터링하고, 조합하는 데 최적화된 직접 코퍼스 상호작용(DCI) 검색 에이전트인 GrepSeek을 소개합니다. 대규모 코퍼스에 대한 강화 학습을 통해 직접 학습하는 과정에서의 불안정성을 해결하기 위해, 우리는 두 단계의 학습 파이프라인을 제안합니다. 첫 번째 단계에서는 질문에 민감한 튜터와 질문에 무관한 플래너를 사용하여 검증되고 인과적으로 근거가 있는 검색 경로를 생성하여 초기 데이터 세트를 구축합니다. 두 번째 단계에서는 그룹 상대 정책 최적화(GRPO)를 사용하여 초기화된 정책을 개선하여 에이전트가 코퍼스와의 직접적인 상호작용을 통해 작업 지향적인 검색 능력을 향상시키도록 합니다. DCI를 대규모로 실용적으로 사용하기 위해, 우리는 의미를 보존하는 분산 병렬 실행 엔진을 추가적으로 사용하여 셸 기반 검색을 최대 $7.6배$까지 가속화하면서 셸 명령의 순차적 실행과 동일한 바이트 단위 정확성을 유지합니다. 일곱 가지 공개 도메인 질문 답변 벤치마크에 대한 실험 결과, GrepSeek은 가장 높은 전반적인 토큰 수준의 $F_1$ 및 Exact Match 점수를 달성했습니다. 또한 분석을 통해 표면 형태가 크게 다른 쿼리에 대한 순수 어휘적 상호작용의 한계를 강조하며, DCI는 실제 세계에서 기존 검색 패러다임을 보완할 수 있는 실용적이고 경쟁력 있는 검색 에이전트 방법론으로 제시됩니다.

Large Language Model (LLM) search agents have shown strong promise for knowledge-intensive language tasks through multiple rounds of reasoning and information retrieval. Most existing systems access information using a retriever that takes a keyword or natural language query and returns a ranked list of documents using an index of pre-computed document representations. In this work, we explore a complementary perspective in which the search agent treats the corpus itself as the search environment and finds evidence by issuing executable shell commands. We introduce GrepSeek, an optimized direct corpus interaction (DCI) search agent that trains a compact search agent to find, filter, and compose evidence from large text corpora. To address the instability of learning behavior directly with reinforcement learning on large corpora, we propose a two-stage training pipeline. First, we construct a cold-start dataset using an answer-aware Tutor and answer-blind Planner to generate verified, causally grounded search trajectories. Second, we refine the initialized policy with Group Relative Policy Optimization (GRPO), allowing the agent to improve its task-oriented search behavior through direct interaction with the corpus. To make DCI practical at scale, we further use a semantics-preserving sharded-parallel execution engine that accelerates shell-based retrieval by up to $7.6\times$ while preserving byte-exact equivalence with sequential execution of the shell command. Experiments across seven open-domain question answering benchmarks show that GrepSeek achieves the strongest overall token-level $F_1$ and Exact Match. Our analysis also highlights the limitations of purely lexical interaction on queries with substantial surface-form variation, suggesting DCI as a practical and competitive method for search agents that can complement existing retrieval paradigms in the real world.