Harness-G: 검색 에이전트를 위한 그래프 기반 프레임워크

Harness-G: A Graph-Structured Harness for Search Agents

강화 학습(RL)에서 검색 에이전트는 일반적으로 자연어 질의 생성으로 정보 검색을 모델링하고, 최종 답변에 대한 보상을 사용하여 다단계 상호 작용을 최적화합니다. 기존 연구는 주로 더 밀집되거나 구조화된 신호로 훈련을 개선하는 데 초점을 맞추지만, 정보 검색이 정책-환경 인터페이스에서 적절하게 구성되었는지 여부를 거의 살펴보지 않습니다. 우리는 Search-R1 훈련 중 발생하는 눈에 띄는 정보 검색의 '별칭 현상(aliasing)'을 관찰했습니다. 동일한 질문에 대한 실행 결과가 서로 다른 질의 문자열을 생성하지만, 누적된 증거 집합은 점점 더 겹치는 경향이 있습니다. 우리는 이 현상을 '정보 검색 동등성 붕괴(retrieval-equivalence collapse)'라고 부릅니다. 이러한 상태에서는 경로가 정보 검색 결정과 관련하여 유틸리티 동등성에 가까워지고, 그룹 내의 보상은 효과적인 정보 검색 대비를 제공하지 못합니다. 이 문제를 해결하기 위해, 우리는 정책-환경 인터페이스를 재설계하는 그래프 기반 정보 검색 프레임워크인 Harness-G를 제안합니다. Harness-G는 자유 형식 질의 생성을 유한한 행동 선택으로 재구성합니다. 정책은 증거 문장 또는 개체를 선택하거나 답변을 선택하고, 환경은 메뉴를 구성하고, 정보 검색 상태를 추적하며, 각 선택 사항을 검증하고 실행합니다. 이 인터페이스는 언어적 별칭 현상을 줄이고 동일한 상태에서의 대안을 직접적으로 비교할 수 있도록 합니다. 이러한 인터페이스를 기반으로, 우리는 구조화된 비단기적인 신호(Structured Non-myopic Credit, SNC)를 도입했습니다. SNC는 고정된 답변 평가기를 사용하여 선택된 행동과 그 대안을 비교하고, 해당 행동을 가능하게 한 이전 단계의 행동에 하위 작업 이득을 할당합니다. 여섯 가지 QA 벤치마크에서 Harness-G는 평가된 모든 모델 크기에서 가장 높은 평균 F1 점수를 달성했으며, 1.5B 규모에서 최고 성능인 Graph-R1보다 10.74점 높고, 3B 규모에서는 3.98점 더 높았습니다.

Reinforcement learning (RL) search agents commonly model retrieval as free-form natural-language query generation and optimize multi-turn interactions using final-answer rewards. Current studies mainly improve training with denser or more structured credit signals, but rarely examine whether retrieval is properly formulated at the policy-environment interface. We observe pronounced retrieval aliasing during Search-R1 training: rollouts for the same question continue to generate distinct query strings, yet their accumulated evidence sets increasingly overlap. We call this phenomenon retrieval-equivalence collapse; in this regime, trajectories approach utility equivalence with respect to retrieval decisions, leaving within-group returns with little effective retrieval contrast. To address this problem, we propose Harness-G, a graph-structured retrieval framework that redesigns this interface. It reformulates free-form query generation as finite action selection: the policy selects an evidence sentence or entity, or chooses to answer, while the environment constructs the menu, tracks retrieval state, and validates and executes each choice. This interface reduces linguistic aliasing and makes same-state alternatives directly comparable. Building on this interface, we introduce Structured Non-myopic Credit (SNC), which uses a frozen answer scorer to compare the selected action with its alternatives and assigns downstream gains to the earlier actions that enabled them. Across six QA benchmarks, Harness-G achieves the highest average F1 at both evaluated model scales, outperforming the strongest baseline, Graph-R1, by 10.74 points at 1.5B and 3.98 points at 3B.