응답하거나 거부하거나: 거부 방식을 고려한 강화 학습을 통한 검색 에이전트의 환각 현상 완화

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

최근 대규모 언어 모델(LLM)에 검색 도구를 통합하고 결과-보상 강화 학습(RL) 기법을 적용함으로써, 개방형 질의응답(QA) 작업에서 새로운 최고 성능을 달성했습니다. 그러나 현재의 훈련 방식에는 중요한 취약점이 존재합니다. 즉, 정확한 답변에는 보상을 주지만, 검색 실패 시 생성된 허구적인 답변에 대해서는 벌칙을 가하지 않아, 이는 암묵적으로 환각 현상을 악화시킵니다. 이를 해결하기 위해, 모델의 질의-특이적 사전 능력과 지속적인 온폴리시 훈련 관찰을 활용하여 거부 보상을 동적으로 조정하는 Abstention-Aware Reinforcement Learning (AWA-RL)을 제안합니다. 또한, 능력-신뢰성 간의 균형을 측정하기 위한 새로운 지표인 RA-F1을 소개합니다. AWA-RL은 거부 기능을 사용하지 않는 기준 모델과 비교하여 정밀도를 최대 10.3% 향상시키고 전체 RA-F1 점수를 2.9% 향상시켰으며, 이는 원본 정확도의 미미한 감소를 감수하는 수준입니다. 이러한 결과는 AWA-RL이 매우 능숙하고 신뢰할 수 있는 검색 에이전트를 성공적으로 구현한다는 것을 확인합니다. 코드, 데이터 및 모델 가중치는 https://github.com/zfj1998/AWA-RL 에서 공개적으로 이용 가능합니다.

Recent advances in equipping Large Language Models (LLMs) with search tools and outcome-reward reinforcement learning (RL) have achieved new state-of-the-art results on open-domain QA tasks. However, we argue that current training paradigms harbor a critical vulnerability: they predominantly reward correct answers but fail to penalize fabricated ones when retrieval fails, thereby implicitly exacerbating hallucinations. To address this, we propose Abstention-Aware Reinforcement Learning (AWA-RL), which dynamically shapes the abstention reward utilizing the model's query-specific prior capabilities and continuous on-policy training observations. We also introduce a novel metric, RA-F1, to measure the capability-reliability trade-off. Compared to non-abstaining baselines, AWA-RL boosts absolute precision by up to 10.3% and overall RA-F1 by 2.9%, with only marginal sacrifice in raw accuracy. These results confirm that AWA-RL successfully yields highly capable and reliable search agents. The code, data, and model weights are publicly available at https://github.com/zfj1998/AWA-RL.