AtomEval: 사실 확인 시스템의 적대적 주장에 대한 원자 수준 평가

AtomEval: Atomic Evaluation of Adversarial Claims in Fact Verification

적대적 주장을 재작성하는 방법은 사실 확인 시스템을 테스트하는 데 널리 사용되지만, 기존의 평가 지표는 진실 조건의 일관성을 제대로 반영하지 못하며, 종종 의미적으로 왜곡된 재작성을 성공적인 것으로 평가합니다. 본 논문에서는 주장을 주어-관계-목적어-수식어(SROM) 원자로 분해하고, 표면적인 유사성뿐만 아니라 사실적 오류를 감지할 수 있도록 원자 수준의 유효성 점수(AVS)를 사용하여 적대적 재작성을 평가하는, 유효성을 고려한 평가 프레임워크인 AtomEval을 소개합니다. 대표적인 공격 전략과 LLM 생성기를 사용하여 FEVER 데이터셋에 대한 실험 결과, AtomEval은 더 신뢰할 수 있는 평가 지표를 제공하는 것으로 나타났습니다. AtomEval을 사용하여 LLM 기반의 적대적 생성기를 추가적으로 분석한 결과, 더 강력한 모델이 반드시 더 효과적인 적대적 주장을 생성하는 것은 아니라는 것을 확인했으며, 이는 현재의 적대적 평가 방식에서 간과되어 왔던 한계를 보여줍니다.

Adversarial claim rewriting is widely used to test fact-checking systems, but standard metrics fail to capture truth-conditional consistency and often label semantically corrupted rewrites as successful. We introduce AtomEval, a validity-aware evaluation framework that decomposes claims into subject-relation-object-modifier (SROM) atoms and scores adversarial rewrites with Atomic Validity Scoring (AVS), enabling detection of factual corruption beyond surface similarity. Experiments on the FEVER dataset across representative attack strategies and LLM generators show that AtomEval provides more reliable evaluation signals in our experiments. Using AtomEval, we further analyze LLM-based adversarial generators and observe that stronger models do not necessarily produce more effective adversarial claims under validity-aware evaluation, highlighting previously overlooked limitations in current adversarial evaluation practices.