지식 집약적 추론을 위한 프로세스 보상 에이전트

Process Reward Agents for Steering Knowledge-Intensive Reasoning

지식 집약적인 영역에서의 추론은 여전히 어려운 과제이며, 중간 단계는 종종 지역적으로 검증 가능하지 않습니다. 수학이나 코드와 달리, 단계의 정확성을 평가하려면 방대한 외부 지식 소스에서 단서를 종합해야 할 수 있습니다. 그 결과, 미묘한 오류가 추론 과정 전반에 걸쳐 전파될 수 있으며, 잠재적으로는 감지되지 않을 수 있습니다. 이전 연구에서는 프로세스 보상 모델(PRM), 특히 검색 증강형 모델을 제안했지만, 이러한 방법은 사후적으로 완료된 추론 경로에 점수를 매기기 때문에 동적 추론 절차에 통합하기 어렵습니다. 본 연구에서는 프로세스 보상 에이전트(PRA)를 소개합니다. PRA는 도메인 기반의 실시간 단계별 보상을 고정된 정책에 제공하는 테스트 시간 방법입니다. 이전의 검색 증강형 PRM과 달리, PRA는 검색 기반 디코딩을 통해 모든 생성 단계에서 후보 추론 경로를 순위화하고 제거할 수 있습니다. 여러 의료 추론 벤치마크에 대한 실험 결과, PRA는 강력한 기준 모델을 꾸준히 능가하며, Qwen3-4B 모델을 사용하여 MedQA에서 80.8%의 정확도를 달성하여 4B 규모에서 새로운 최고 성능을 기록했습니다. 더욱 중요하게는, PRA는 0.5B에서 8B 파라미터 범위의 새로운 고정된 정책 모델에도 일반화되어, 정책 모델 업데이트 없이 최대 25.7%의 정확도를 향상시킵니다. 보다 넓은 관점에서, PRA는 고정된 추론기와 도메인별 보상 모듈을 분리하는 패러다임을 제시하며, 이를 통해 복잡한 영역에 새로운 기반 모델을 훈련 없이 배포할 수 있습니다.

Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.