TreeSeeker: 심층 검색에서의 트리 구조 기반 시행착오 및 복귀

TreeSeeker: Tree-Structured Trial, Error, and Return in Deep Search

심층 검색은 에이전트가 다단계 웹 검색, 탐색, 증거 비교 및 종합을 통해 복잡한 질문에 답변하도록 요구합니다. 주요 과제는 여러 방향이 유망해 보이지만 실제로는 신뢰할 수 있는 증거로 이어지는 경우가 일부에 불과하다는 점입니다. 에이전트가 현재 가장 좋은 방향을 따라간다면, 약한 경로를 계속 확장할 수 있습니다. 반대로, 체계적인 탐색 없이 진행하면 예산 낭비로 이어질 수 있습니다. 본 논문에서는 심층 검색에서의 제어된 시행착오를 위한 추론 시간 프레임워크인 TreeSeeker를 제안합니다. TreeSeeker는 검색을 트리 구조 상태에 대한 분기 및 복귀 방식으로 구성하며, 각 분기는 하위 목표를 위한 잠정적인 방향입니다. 각 라운드마다 TreeSearch는 모든 하위 목표 트리를 읽고 활성 목표를 식별한 다음, 가치, 불확실성 및 위험의 텍스트 기반 UCB 신호를 사용하여 유망한 분기를 활용하거나, 불확실한 대안을 탐색하거나, 비생산적인 경로를 제거하고 이전 분기 지점으로 복귀하는 것을 선택합니다. TreeMem은 이러한 제어 루프를 지원하기 위해 각 분기와 연결된 증거, 불확실성, 충돌, 진행 상황 및 실패 징후를 유지하여, 시행착오 결과를 통해 후속 결정을 안내합니다. XBench-DeepSearch, BrowseComp 및 BrowseComp-ZH에 대한 실험 결과, TreeSeeker는 강력한 오픈 소스 기준 모델보다 일관되게 우수한 성능을 보였으며, 이는 명시적인 분기 및 복귀 제어가 더 강력한 추론 및 도구 실행을 보완한다는 것을 시사합니다.

Deep search requires agents to answer complex questions through multi-step web search, browsing, evidence comparison, and synthesis. A central challenge is deciding how to search when several directions look plausible but only some will later lead to reliable evidence. If an agent greedily follows the current best-looking direction, it may keep extending a weak continuation. If it explores without discipline, it may waste budget on disconnected trials. We propose TreeSeeker, an inference-time framework for controlled trial-and-error in deep search. TreeSeeker organizes search as branch-and-return search over tree-structured states, where each branch is a tentative direction for a sub-goal. At each round, TreeSearch reads all sub-goal trees, identifies active goals, and uses textual UCB signals of value, uncertainty, and risk to select among exploiting a promising branch, exploring an uncertain alternative, or pruning an unproductive continuation and returning to an earlier branch point. TreeMem supports this control loop by keeping evidence, uncertainty, conflicts, progress, and failure cues attached to the branches that produced them, so trial outcomes can guide later decisions. Experiments on XBench-DeepSearch, BrowseComp, and BrowseComp-ZH show that TreeSeeker consistently outperforms strong open-source baselines, suggesting that explicit branch-and-return control complements stronger reasoning and tool execution.