KEPo: 그래프 기반 검색 증강 생성 모델에 대한 지식 진화 기반의 악성 데이터 주입 공격

KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation

그래프 기반 검색 증강 생성(GraphRAG)은 외부 데이터베이스에서 지식 그래프(KG)를 구축하여 대규모 언어 모델(LLM)의 생성 결과의 시의성과 정확성을 향상시킵니다. 그러나 외부 데이터에 대한 의존성은 새로운 공격 경로를 야기합니다. 공격자는 데이터베이스에 악성 텍스트를 주입하여 LLM이 공격자가 선택한 질의에 대해 유해한 결과를 생성하도록 조작할 수 있습니다. 기존 연구는 주로 기존의 검색 증강 생성 시스템을 공격하는 데 초점을 맞추고 있지만, 이러한 방법은 GraphRAG에 효과적이지 않습니다. 이러한 견고성은 GraphRAG의 KG 추상화에서 비롯되며, 이는 검색 전에 주입된 텍스트를 그래프로 재구성하여 LLM이 원본 악성 텍스트 대신 재구성된 컨텍스트를 기반으로 추론할 수 있도록 합니다. GraphRAG의 잠재적인 보안 취약점을 드러내기 위해, 우리는 GraphRAG에 특화된 새로운 악성 데이터 주입 공격 방법인 Knowledge Evolution Poison (KEPo)을 제안합니다. KEPo는 각 대상 질의에 대해, 대상 답변을 기반으로 악성 지식을 포함하는 유해한 이벤트를 생성합니다. 그런 다음, KEPo는 이벤트의 배경을 조작하고, 원래 사실에서 유해한 이벤트로 이어지는 지식 진화 경로를 위조하여 KG를 오염시키고, LLM이 오염된 지식을 최종 결과로 인식하도록 유도합니다. 다중 대상 공격 시나리오에서, KEPo는 여러 공격 데이터 세트를 연결하여 악성 지식이 서로 강화되도록 하고, 오염된 커뮤니티의 규모를 확장하여 공격 효과를 증폭시킵니다. 여러 데이터 세트에 대한 실험 결과는 KEPo가 단일 대상 및 다중 대상 공격 모두에서 최첨단 공격 성공률을 달성하며, 기존 방법보다 훨씬 우수하다는 것을 보여줍니다.

Graph-based Retrieval-Augmented Generation (GraphRAG) constructs the Knowledge Graph (KG) from external databases to enhance the timeliness and accuracy of Large Language Model (LLM) generations.However,this reliance on external data introduces new attack surfaces.Attackers can inject poisoned texts into databases to manipulate LLMs into producing harmful target responses for attacker-chosen queries.Existing research primarily focuses on attacking conventional RAG systems.However,such methods are ineffective against GraphRAG.This robustness derives from the KG abstraction of GraphRAG,which reorganizes injected text into a graph before retrieval,thereby enabling the LLM to reason based on the restructured context instead of raw poisoned passages.To expose latent security vulnerabilities in GraphRAG,we propose Knowledge Evolution Poison (KEPo),a novel poisoning attack method specifically designed for GraphRAG.For each target query,KEPo first generates a toxic event containing poisoned knowledge based on the target answer.By fabricating event backgrounds and forging knowledge evolution paths from original facts to the toxic event,it then poisons the KG and misleads the LLM into treating the poisoned knowledge as the final result.In multi-target attack scenarios,KEPo further connects multiple attack corpora,enabling their poisoned knowledge to mutually reinforce while expanding the scale of poisoned communities,thereby amplifying attack effectiveness.Experimental results across multiple datasets demonstrate that KEPo achieves state-of-the-art attack success rates for both single-target and multi-target attacks,significantly outperforming previous methods.