AutoVerifier: 대규모 언어 모델을 활용한 능동적인 자동 검증 프레임워크

AutoVerifier: An Agentic Automated Verification Framework Using Large Language Models

과학 기술 정보 분석은 빠르게 증가하는 문헌 속에서 복잡한 기술적 주장을 검증해야 하는 작업을 포함하며, 기존 방식은 표면적인 정확성과 깊이 있는 방법론적 타당성 간의 검증 격차를 해소하는 데 어려움을 겪습니다. 본 논문에서는 도메인 전문 지식 없이 기술적 주장의 전체적인 검증을 자동화하는 LLM 기반의 능동적 프레임워크인 AutoVerifier를 소개합니다. AutoVerifier는 모든 기술적 주장을 (주체, 술어, 객체) 형태의 구조화된 주장 트리플로 분해하고, 지식 그래프를 구축하여 다음의 6가지 단계로 점진적으로 풍부해지는 구조화된 추론을 가능하게 합니다. 단계는 다음과 같습니다: 코퍼스 구축 및 수집, 개체 및 주장 추출, 문서 내부 검증, 출처 간 검증, 외부 신호 확인, 최종 가설 행렬 생성. 우리는 양자 컴퓨팅 분야의 논쟁적인 주장에 대해 AutoVerifier를 적용하여, 양자 컴퓨팅 전문 지식이 없는 분석가가 해당 논문 내에서 과장된 내용과 측정 불일치를 자동으로 식별하고, 출처 간의 모순을 추적하며, 공개되지 않은 상업적 이해 상충 관계를 밝혀내고, 최종 평가를 생성하는 것을 보여줍니다. 이러한 결과는 구조화된 LLM 검증이 새로운 기술의 타당성과 성숙도를 안정적으로 평가할 수 있으며, 원시 기술 문서를 추적 가능하고 증거 기반의 정보 평가로 전환할 수 있음을 보여줍니다.

Scientific and Technical Intelligence (S&TI) analysis requires verifying complex technical claims across rapidly growing literature, where existing approaches fail to bridge the verification gap between surface-level accuracy and deeper methodological validity. We present AutoVerifier, an LLM-based agentic framework that automates end-to-end verification of technical claims without requiring domain expertise. AutoVerifier decomposes every technical assertion into structured claim triples of the form (Subject, Predicate, Object), constructing knowledge graphs that enable structured reasoning across six progressively enriching layers: corpus construction and ingestion, entity and claim extraction, intra-document verification, cross-source verification, external signal corroboration, and final hypothesis matrix generation. We demonstrate AutoVerifier on a contested quantum computing claim, where the framework, operated by analysts with no quantum expertise, automatically identified overclaims and metric inconsistencies within the target paper, traced cross-source contradictions, uncovered undisclosed commercial conflicts of interest, and produced a final assessment. These results show that structured LLM verification can reliably evaluate the validity and maturity of emerging technologies, turning raw technical documents into traceable, evidence-backed intelligence assessments.