Cordon-MAS: 정보 흐름 제어를 통한 지식 오염 방지를 통해 RAG을 보호

Cordon-MAS: Defending RAG against Knowledge Poisoning via Information-Flow Control

검색 증강 생성(RAG)은 점점 더 중요한 응용 분야에서 활용되고 있지만, 악의적으로 조작된 문서가 생성된 결과물을 변경하는 Confundo 스타일의 공격에 취약합니다. 기존의 방어 방법은 오염된 정보를 탐지하면 피해를 막을 수 있다고 가정합니다. 그러나 우리는 이 가정이 틀렸음을 보여줍니다. 모델은 검색된 정보에서 모순을 감지할 수 있지만, 여전히 악성 주장에 영향을 받을 수 있습니다. 우리는 'Cordon 원칙'을 제시합니다. 즉, 최종 결과를 생성하는 에이전트는 신뢰할 수 없는 자연어 정보를 접근해서는 안 된다는 원칙입니다. 그리고 이 원칙을 CORDON-MAS라는 모듈화된 프레임워크를 통해 구현했습니다. CORDON-MAS는 정보 추출, 교차 소스 감사 및 답변 생성을 비대칭적인 메모리 권한을 가진 에이전트로 분리하여 이러한 원칙을 구조적으로 적용합니다. 우리는 다섯 가지 BEIR 데이터 세트에서 CORDON-MAS가 방어되지 않은 RAG에 비해 공격 성공률을 92.4% 줄인다는 것을 확인했습니다. 이는 RAG 오염 문제를 탐지 문제에서 정보 흐름 제어 문제로 재정의하는 것입니다.

Retrieval-augmented generation (RAG) increasingly underpins high-stakes applications, yet remains vulnerable to Confundo-style poisoning where adversarially optimized documents manipulate generated outputs. Existing defenses assume that detecting poisoned evidence prevents harm. We show this assumption is incorrect: models exhibit a monitoring-control gap -- they can detect contradictions in retrieved evidence yet still act on poisoned claims. We introduce the Cordon Principle -- no agent capable of final synthesis may access untrusted natural-language evidence -- and realize it through CORDON-MAS, a compartmentalized framework that enforces this principle architecturally by separating evidence extraction, cross-source audit, and answer synthesis into agents with asymmetric memory privileges. Across five BEIR datasets, CORDON-MAS reduces attack success rate by 92.4\% relative to undefended RAG. This reframes RAG poisoning from a detection problem to an information-flow control problem.