불충분한 정보 환경에서 추론 모델의 탐지-거부 간극 해소

Bridging the Detection-to-Abstention Gap in Reasoning Models under Insufficient Information

본 논문에서는 대규모 추론 모델이 불충분한 정보를 가진 질문에 대해 보이는 문제점을 지적합니다. 모델은 문제가 충분히 정의되지 않았다는 것을 인지할 수 있지만, 그럼에도 불구하고 추론을 계속 진행하여 근거 없는 최종 답변을 제시하는 대신 거부(abstain)하지 못하는 현상이 발생합니다. 우리는 이러한 불일치를 '탐지-거부 간극'으로 공식화하며, 탐지된 정보 부족이 최종적인 거부로 이어지지 않는 경우를 의미합니다. 특히 의료 AI와 같이 위험도가 높은 분야에서는 불완전한 증거에 기반한 답변이 거절하는 것보다 더 해로울 수 있으므로 이러한 간극은 매우 우려됩니다. 이 간극을 줄이기 위해, 본 논문에서는 'Judge-Then-Solve (JTS)'라는 트레이저리 레벨의 추론 제어 프레임워크를 제안합니다. JTS는 모델이 솔루션 생성 전에 명시적인 답변 가능성 판단을 내리도록 학습시킵니다. JTS는 거부를 최종 답변 스타일로 취급하는 대신, 제어 결정으로 간주합니다. 즉, 모델은 답변 가능성을 판단한 후, 해결 과정으로 진행하거나 조기에 종료합니다. 이러한 정책은 지도적 초기 훈련과 누락된 전제(premise)를 활용한 강화 학습을 통해 구현되며, 일관성 및 길이 조정 보상을 사용합니다. 밀집형(dense) 및 MoE 추론 모델에 대한 실험 결과, JTS는 다양한 데이터 세트에서 안정적인 거부 성능을 크게 향상시키고, '거부@탐지 (A@D)' 지표를 거의 포화 수준으로 끌어올립니다. 이는 모델이 누락된 정보를 단순히 감지하는 것뿐만 아니라, 이러한 감지에 따라 적절한 조치를 취한다는 것을 의미합니다. JTS는 답변 불가능한 추론 경로를 답변 가능성 판단 직후에 즉시 종료함으로써 불필요한 추론을 줄이고, 지속적인 논의가 근거 없는 가정들을 강화할 수 있는 상황에서 추론 효율성을 향상시킵니다. 또한, 누락된 전제 훈련은 어려운 질문이지만 정답이 존재하는 경우에도 모델의 추론 행동을 변화시켜 비생산적인 자기 성찰을 줄이는 것을 관찰했습니다. 이러한 결과는 불충분한 정보 환경에서의 거부가, 추론 모델을 안전하고 효율적으로 배포하기 위한 중요한 제어 방식임을 시사합니다.

We highlight a failure mode of large reasoning models on questions with insufficient information: models may recognize that a problem is under-specified, yet still continue reasoning and produce unsupported final answers instead of abstaining. We formalize this mismatch as the detection-to-abstention gap, where detected insufficiency fails to translate into final abstention. This gap is especially concerning in high-risk domains such as medical AI, where answers based on incomplete evidence can be more harmful than refusal. To close this gap, we propose Judge-Then-Solve (JTS), a trajectory-level reasoning-control framework that trains models to make an explicit answerability commitment before solution generation. Rather than treating abstention as a final-answer style, JTS casts it as a control decision: the model either proceeds to solve or terminates early based on its answerability judgment. We instantiate this policy through supervised warm-up and missing-premise reinforcement learning with consistency and length-shaping rewards. Experiments on dense and MoE reasoning models show that JTS substantially improves reliable abstention across datasets and pushes Abstention@Detection (A@D) to near-saturation, indicating that models not only detect missing information but also act on that detection. By terminating unanswerable trajectories immediately after the answerability judgment, JTS reduces unnecessary reasoning and improves inference efficiency when continued deliberation would amplify unsupported assumptions. We also observe that missing-premise training can alter reasoning behavior on difficult but answerable problems, reducing unproductive self-reflection. These results suggest that abstention under insufficient information is a key form of reasoning control for deploying reasoning models safely and efficiently.