ABSeeker: 답변 기반 역추적 신용 할당을 통한 장기 탐색 에이전트 훈련

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

장기 탐색 에이전트는 최종 답안에 도달하기 위해 검색, 정보 검색, 검증 및 통합과 같은 여러 단계의 순차적인 작업을 수행해야 합니다. 그러나 이러한 에이전트를 훈련하는 기존 방법은 일반적으로 지도 학습(SFT) 및 강화 학습(RL) 모두에서 경로 내 모든 단계를 동일하게 취급하여 유용한 동작을 오류 또는 중복된 동작과 구별하지 못합니다. 본 논문에서는 장기 탐색 에이전트 훈련을 위한 세분화된 신용 할당 프레임워크인 Answer-Backtracked Credit Assignment (ABC)를 제안합니다. ABC는 희소한 경로 수준 결과를 밀집된 단계 수준의 지도 학습으로 변환하여 유용한 동작(실패한 경로에서도)에 대한 보상을 제공하고 오류 또는 중복된 동작을 억제합니다. 구체적으로, 잠재적으로 난해한 질문과 그에 해당하는 정답이 주어졌을 때, ABC는 먼저 Answer-Backtracked Clue Recovery를 수행하여 질문 해결에 필요한 중간 단서를 정답에서 역으로 추적합니다. 그런 다음, ABC는 Clue-Anchored Step Scoring을 적용하여 각 검색 단계를 이러한 단서와 비교하고, 희소한 이진 결과 지도 학습을 밀집된 단계 수준의 보상으로 변환합니다. 이러한 보상을 기반으로, 우리는 각 턴의 손실을 재가중하는 ABC-SFT와 단계 수준 점수를 GRPO에서 보상으로 사용하는 ABC-GRPO를 개발했습니다. 본 프레임워크를 바탕으로, 8.5k개의 예시만을 사용하여 Qwen3.5-4B를 기반으로 ABSeeker를 훈련했습니다. ABSeeker는 BrowseComp에서 37.3%, BrowseComp-ZH에서 39.1%의 성능을 달성했습니다. 컨텍스트 관리를 통해 이러한 점수는 각각 55.3%와 52.9%로 더욱 향상되었으며, 이는 동일 규모(4B)의 에이전트를 크게 능가하고 더 큰 에이전트(약 30B)의 성능에 버금가는 결과를 보여줍니다. 이러한 결과는 답변 기반 역추적 단계 수준 신용 할당이 장기 탐색 에이전트 훈련에 효과적임을 입증합니다.

Long-horizon search agents must make multiple sequential actions (steps) to search, retrieve, verify, and integrate evidence to reach a final answer. However, existing methods for training these agents typically treat all steps within a trajectory uniformly during both supervised fine-tuning (SFT) and reinforcement learning (RL), failing to distinguish useful actions from erroneous or redundant ones. In this paper, we propose Answer-Backtracked Credit Assignment (ABC), a fine-grained credit assignment framework for training long-horizon search agents by converting sparse trajectory-level outcomes into dense step-level supervision that rewards useful actions (even in failed trajectories) while suppressing erroneous or redundant actions. Specifically, given a potentially obscure query and its corresponding ground-truth answer, ABC first performs Answer-Backtracked Clue Recovery, which traces back from the answer to recover intermediate clues required to solve the question. It then applies Clue-Anchored Step Scoring to evaluate each search step against these clues, converting sparse binary outcome supervision into dense step-level rewards. Based on these rewards, we develop ABC-SFT, which reweights the loss of each turn, and ABC-GRPO, which uses the step-level scores as rewards in GRPO. Building on this framework, we train ABSeeker based on Qwen3.5-4B with only 8.5k examples. ABSeeker achieves 37.3% on BrowseComp and 39.1% on BrowseComp-ZH. With context management, the scores further improve to 55.3% and 52.9%, respectively, significantly outperforming same-scale (4B) agents and even matching the performance of larger ones (approximately 30B). These results demonstrate the effectiveness of answer-backtracked step-level credit assignment for training long-horizon search agents.