CRISP: 효율적인 심층 탐색 에이전트 학습을 위한 핵심 단계 인식

CRISP: Critical Step Perception for Training Efficient Deep Search Agents

대규모 언어 모델(LLM)은 외부 검색 및 브라우징 도구와의 다단계 상호 작용을 통해 복잡한 질문에 답하는 심층 탐색 에이전트로 점점 더 확장되고 있습니다. 그러나 기존 에이전트는 상당한 계산 비용과 상호 작용 비용을 발생시키며, 중복된 쿼리, 비효율적인 탐색 및 관련 없는 관찰 사항을 포함하는 긴 경로를 생성합니다. 기존의 효율성 지향적인 방법은 일반적으로 에이전트가 도구를 덜 자주 사용하도록 장려하지만, 모든 도구 상호 작용을 동일하게 취급하면 정답에 필요한 증거를 수집하는 단계를 억제할 수도 있습니다. 본 논문에서는 효율적인 심층 탐색 에이전트를 훈련하기 위한 프레임워크인 CRISP를 제안합니다. 기존의 효율성 방법과는 달리, 모든 도구 사용을 동일하게 벌점 부과하는 대신, CRISP는 필요한 증거를 수집하는 상호 작용과 불필요한 상호 작용을 구별하고, 후자를 유지하면서 전자를 제거하도록 훈련 보상을 조정하여 정확한 답변에 필요한 증거를 희생하지 않고 효율성을 향상시킵니다. 특히, CRISP는 먼저 역방향 증거 유도(Backward Evidence Induction)를 통해 핵심 단계 레이블을 생성합니다. 강력한 모델은 완성된 검색 경로를 역으로 추적하면서 각 도구 상호 작용 단계가 최종 답변에 대한 증거를 제공하거나 유지하는지 판단합니다. 그런 다음 이러한 단계별 판단을 더 작은 핵심 단계 인식기로 추출하여 전체 경로 분석을 단일 패스에서 수행할 수 있도록 합니다. 정책 최적화 과정에서 효율성을 고려한 보상은 성공적인 실행 결과에만 적용됩니다. BrowseComp 및 HLE-Verified 데이터 세트에 대한 실험 결과, CRISP는 평균 상호 작용 횟수를 각각 15.1% 및 33.2% 줄이면서 최종 답변 정확도를 경쟁 수준으로 유지하여 상당한 상호 작용 효율성 향상을 보여주었습니다.

Large language models (LLMs) are increasingly extended into deep search agents that solve complex questions through multi-step interaction with external search and browsing tools. However, existing agents often incur substantial computational and interaction costs, generating lengthy trajectories that contain redundant queries, inefficient exploration, and irrelevant observations. Existing efficiency-oriented methods usually encourage agents to use tools less frequently, but treating all tool interactions uniformly may also suppress steps that gather necessary evidence. In this paper, we propose CRISP, a framework for training efficient deep search agents through critical step perception. Unlike prior efficiency methods that uniformly penalize tool use, CRISP distinguishes interactions that gather necessary evidence from redundant ones and shapes the training reward to preserve the former while pruning the latter, improving efficiency without sacrificing the evidence needed for correct answers. Specifically, CRISP first constructs critical-step labels with Backward Evidence Induction: starting from the final answer, a strong model traverses a completed search trajectory backward and judges whether each tool-interaction step provides or preserves evidence for the final answer. We then distill these step-wise judgments into a smaller critical-step recognizer, enabling full-trajectory analysis in a single pass. During policy optimization, an efficiency-aware reward is applied only to successful rollouts. Experiments on BrowseComp and HLE-Verified show that CRISP maintains competitive final-answer accuracy while reducing average interaction turns by 15.1% and 33.2%, respectively, demonstrating substantial improvements in interaction efficiency.