FACTWASH: 인식을 사실로 위장하는 AI 재작성 감지

FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact

AI 시스템은 끊임없이 정보를 재작성합니다. 대화는 저장된 기억으로, 문서는 답변으로 변환됩니다. 이 과정에서 주장은 유지되지만, 정보의 출처, 신뢰도, 시점 등 검증 가능하게 만드는 요소들이 사라질 수 있습니다. 우리는 이러한 현상을 '사실 왜곡(factwashing)'이라고 부릅니다. 본 연구에서는 사실 왜곡을 결정적으로 감지하는 오픈 소스 시스템인 'factwash'를 개발했습니다. 이 시스템은 LLM 기반의 판단 대신, 명명된 플래그와 증거를 사용합니다. 이를 통해 다음과 같은 실질적인 질문에 대한 답을 찾고자 했습니다: 어떤 경우 저렴한 검증으로 충분하고, 모델이 필요한 경우는 언제인가? 결정적인 요소는 해당 속성이 얼마나 제한적인 '표면 단서(surface-cue)' 목록을 가지고 있는가입니다. 명시적인 부정 표현은 열거 가능한 수준에 가깝기 때문에, 간단한 단어 목록만으로도 91%의 F1 점수를 달성할 수 있습니다. 반면, 완화 및 출처 표시는 구현 방식이 무궁무진하기 때문에, 어휘 기반 접근 방식으로는 약 50% 정도의 정확도를 보입니다. 하지만 LLM을 활용한 간단한 질문 하나로도 동일한 정밀도에서 완화 및 출처 표지 감지 정확도가 17% 및 15% 향상됩니다. 이렇게 개발된 시스템은 최종 판단에 영향을 미치기보다는, 정밀도를 높이는 데 기여합니다. 우리는 105,596개의 독립적으로 주석이 달린 문장에 대한 실험을 통해 이러한 결과를 확인했습니다. 또한, 메모리 기록 데이터셋에서 사실 왜곡 현상을 분석한 결과, 대화형 정보(hearsay)에서 55%, 비즈니스 이메일에서 7%의 오류가 발생했으며 (p < 0.001), 이는 시스템 배포 시 어떤 감지기를 사용할 것보다 '오류가 실제로 발생하는가'라는 질문이 더 중요함을 시사합니다. unmodified mem0 2.0.7 환경에서, factwash는 8개의 완화된 정보(hedged hearsay) 중 5개를 오류로 식별했습니다.

AI systems rewrite information constantly: conversations become stored memories, documents become answers. The rewrite can keep a claim while washing away what made it checkable, who said it, how sure they were, when it held. We call that failure factwashing, and release factwash, an open-source write-time gate that catches it deterministically, with named flags and evidence rather than an LLM judge. Building it answers a practical question: when does a cheap check suffice, and when do you need a model? What decides is whether the property has a bounded surface-cue inventory. Explicit negation cues are close to enumerable, so a word list finishes and transfers, reaching 0.91 F1 on untuned text. Hedging and attribution have open-ended realizations, so vocabulary plateaus near half recall, and a one-question LLM witness recovers +17 and +15 points of cue-detection recall at equal precision. Deployed, that witness may only lower a verdict, so it buys precision rather than coverage. We measure cue detection on 105,596 independently annotated sentences. A blind-labelled corpus of memory writes then locates the failure: 55% of bad writes in conversational hearsay, 7% in business email (p < 0.001), so the first deployment question is not which detector to use but whether the failure occurs at all. On unmodified mem0 2.0.7, the gate flags 5 of 8 hedged-hearsay writes.