LAPO: 다중 턴 검색 추론에서 자체 생성된 프로세스 보상을 위한 일회전 제거 기여도 분석

LAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning

다중 턴 검색 추론을 위한 강화 학습은 일반적으로 최종 결과에 대한 보상에 의존하며, 이는 유용하고 관련 있는 중간 상호 작용과 불필요하거나 해로운 중간 상호 작용을 구별할 수 없습니다. 본 연구에서는 역방향 일회전 제거 기여도 분석을 기반으로 하는 자체 생성 프로세스 감독 방법인 LAPO를 제안합니다. 각 검색 단계에서, LAPO는 해당 단계를 그리고 그에 따른 정보 검색 결과를 고정된 [삭제] 자리 표시자로 대체하고, 현재 정책의 정답에 대한 평균 로그 가능도의 변화를 측정합니다. 이러한 정답 가능성 증가는 해당 단계의 기여도를 추정하며, 모든 후속 상호 작용을 유지하여 초기 단계를 전체 추론 맥락에서 평가할 수 있도록 합니다. 또한 LAPO는 부호 일관성 게이팅을 적용하여 원시 기여도 점수와 방향이 일치하는 정규화된 프로세스 이점만 유지합니다. 본 방법은 추가적인 보상 모델, 교사, 검증자 또는 LLM-as-a-Judge가 필요하지 않습니다. 로컬 정보 검색 기능을 갖춘 7개의 지식 집약적 질의 응답 데이터 세트에서 LAPO는 평균 정확 일치 점수 0.326을 달성하여 최상의 단계별 보상 기반 모델인 IGPO보다 0.053점 더 높은 성능을 보였습니다. 실험 결과, 역방향 기여도 분석과 부호 일관성 게이팅은 상호 보완적인 이점을 제공하며, 정책에서 파생된 후회 기반 기여도 분석이 다중 턴 검색 에이전트에 효과적인 프로세스 감독을 제공할 수 있음을 보여줍니다.

Reinforcement learning for multi-turn search reasoning typically relies on terminal outcome rewards, which cannot distinguish useful, redundant, and harmful intermediate interactions. We propose LAPO, a self-generated process-supervision method based on backward leave-one-turn attribution. For each search turn, LAPO replaces the turn and its retrieval observation with a fixed [DELETE] placeholder and measures the resulting change in the current policy's mean log-likelihood of the gold answer. This Answer-Likelihood Gain estimates the turn's contribution while preserving all downstream interactions, allowing early evidence to be evaluated in the complete reasoning context. LAPO further applies sign-consistency gating, retaining only normalized process advantages whose directions agree with their raw attribution scores. The method requires no additional reward model, teacher, verifier, or LLM-as-a-Judge. Across seven knowledge-intensive question-answering datasets with local retrieval, LAPO achieves an average exact-match score of 0.326, outperforming the strongest step-reward baseline, IGPO, by 0.053. Ablations show complementary benefits from backward attribution and sign-consistency gating, demonstrating that policy-derived retrospective attribution can provide effective process supervision for multi-turn search agents.