사람들은 무엇을 사실 확인하고 싶어 하는가?

What do people want to fact-check?

오해 정보에 대한 연구는 거의 모든 경우 공급 측면에 초점을 맞추어, 어떤 허위 정보가 유통되는지, 누가 그것을 생산하는지, 그리고 수정 작업이 효과적인지 등을 조사합니다. 하지만 기본적인 수요 측면의 질문은 여전히 답변되지 않은 상태입니다. 일반 사람들이 원하는 모든 것을 사실 확인 할 수 있게 되었을 때, 그들은 실제로 무엇에 대해 질문하는가? 우리는 457명의 참가자가 제출한 약 2,500개의 진술을 분석하여, 개방형 AI 사실 확인 시스템에 대한 첫 번째 대규모 증거를 제공합니다. 각 진술은 다섯 가지 의미 차원(분야, 인식론적 형태, 검증 가능성, 대상 개체, 시간적 참조)에 따라 분류되어, 대중의 사실 확인 수요에 대한 행동 지도를 생성합니다. 세 가지 중요한 결과가 나타났습니다. 첫째, 사용자는 다양한 주제에 관심을 보이지만, 압도적으로 현재 관찰 가능한 것에 대한 간단한 묘사적 주장을 제출하는 경향이 있습니다. 둘째, 약 4분의 1의 요청은 경험적으로 해결할 수 없는 진술, 즉 도덕적 판단, 추론적 예측, 주관적 평가 등에 관한 것으로, 이는 사용자가 사실 확인 도구에 기대하는 것과 그러한 도구가 제공할 수 있는 것 사이에 체계적인 불일치가 있음을 보여줍니다. 셋째, FEVER 벤치마크 데이터 세트와의 비교는 다섯 가지 모든 차원에서 뚜렷한 구조적 차이를 드러내며, 이는 표준 평가 데이터 세트가 실제 검증 요구 사항과 일치하지 않는 인위적인 진술 환경을 포함하고 있음을 나타냅니다. 이러한 결과는 사실 확인을 수요 주도적인 문제로 재정의하고, 현재 AI 시스템과 벤치마크가 사람들이 실제로 경험하는 불확실성과 어떻게 일치하지 않는지를 보여줍니다.

Research on misinformation has focused almost exclusively on supply, asking what falsehoods circulate, who produces them, and whether corrections work. A basic demand-side question remains unanswered. When ordinary people can fact-check anything they want, what do they actually ask about? We provide the first large-scale evidence on this question by analyzing close to 2{,}500 statements submitted by 457 participants to an open-ended AI fact-checking system. Each claim is classified along five semantic dimensions (domain, epistemic form, verifiability, target entity, and temporal reference), producing a behavioral map of public verification demand. Three findings stand out. First, users range widely across topics but default to a narrow epistemic repertoire, overwhelmingly submitting simple descriptive claims about present-day observables. Second, roughly one in four requests concerns statements that cannot be empirically resolved, including moral judgments, speculative predictions, and subjective evaluations, revealing a systematic mismatch between what users seek from fact-checking tools and what such tools can deliver. Third, comparison with the FEVER benchmark dataset exposes sharp structural divergences across all five dimensions, indicating that standard evaluation corpora encode a synthetic claim environment that does not resemble real-world verification needs. These results reframe fact-checking as a demand-driven problem and identify where current AI systems and benchmarks are misaligned with the uncertainty people actually experience.