검증이 실패할 때: 어떻게 구성적으로 불가능한 주장이 거부되지 않고 살아남는가

When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

과학적 주장의 검증은 과학적 증거에 의해 뒷받침되는 주장을 확인하고 오정보를 방지하는 데 필수적인 과정입니다. 이 과정은 각 주장의 제약 조건을 검증된 증거와 비교하여 평가하는 것을 포함합니다. 폐쇄 세계 가정(CWA) 하에서, 주장은 모든 제약 조건이 긍정적으로 뒷받침될 때만 수락됩니다. 본 연구에서는 기존의 검증 벤치마크가 이 기준을 엄격하게 준수하는 모델과, 단순한 '주요 제약 조건 검사' 방식을 사용하는 모델을 구별하지 못한다는 것을 보여줍니다. 주요 제약 조건 검사는 CWA의 거부 기준을 가장 중요한 제약 조건에만 적용하고, 해당 제약 조건이 뒷받침되면 주장을 수락합니다. 기존 벤치마크는 단일의 주요 요소를 변경하여 불가능한 주장을 구성하므로, 엄격한 주장 검증과 단순한 주요 제약 조건 의존성을 구별하는 데 충분하지 않습니다. 두 가지를 구분하기 위해, 본 연구에서는 주요 제약 조건은 뒷받침되지만, 중요하지 않은 제약 조건은 모순되는 '구성적으로 불가능한' 주장을 구성했습니다. 다양한 모델 아키텍처와 방식에서, 기존 벤치마크를 만족하는 모델들이 일관되게 이러한 주장을 과도하게 수락하는 경향을 보입니다. 이는 이러한 '단순화된' 추론 방식이 널리 사용되고 있음을 시사합니다. 모델의 맥락에 대한 개입을 통해, 다양한 모델과 프롬프트 전략이 공유된 ROC 곡선에서 서로 다른 위치를 차지한다는 것을 확인했습니다. 이는 모델 간의 차이가 검증 임계값의 차이에서 비롯되며, 근본적인 추론 능력의 차이에서 비롯된 것이 아님을 나타냅니다. 또한, '구성적 추론의 병목 현상'은 현재의 검증 방식의 구조적인 특성이며, 전략 지침만으로는 극복할 수 없음을 보여줍니다.

Scientific claim verification, the task of determining whether claims are entailed by scientific evidence, is fundamental to establishing discoveries in evidence while preventing misinformation. This process involves evaluating each asserted constraint against validated evidence. Under the Closed-World Assumption (CWA), a claim is accepted if and only if all asserted constraints are positively supported. We show that existing verification benchmarks cannot distinguish models enforcing this standard from models applying a simpler shortcut called salient-constraint checking, which applies CWA's rejection criterion only to the most salient constraint and accepts when that constraint is supported. Because existing benchmarks construct infeasible claims by perturbing a single salient element they are insufficient at distinguishing between rigorous claim verification and simple salient-constraint reliance. To separate the two, we construct compositionally infeasible claims where the salient constraint is supported but a non-salient constraint is contradicted. Across model families and modalities, models that otherwise saturate existing benchmarks consistently over-accept these claims, confirming the prevalence of such shortcut reasoning. Via model context interventions, we show that different models and prompting strategies occupy distinct positions on a shared ROC curve, indicating that the gap between model families reflects differences in verification threshold rather than underlying reasoning ability, and that the compositional inference bottleneck is a structural property of current verification behavior that strategy guidance alone cannot overcome.