문장 수준의 수정 기반 대규모 언어 모델(LLM) 다중 에이전트 시스템의 협력 공격 방어

Defending LLM-based Multi-Agent Systems Against Cooperative Attacks with Sentence-Level Rectification

최근 몇 년 동안, 협업적 의사 결정 및 복잡한 문제 해결에 뛰어난 성능을 보이는 대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)이 빠르게 발전하고 있습니다. 그러나 MAS 내의 악성 에이전트는 다른 에이전트를 오도하고 시스템 성능을 저해하기 위해 잘못된 정보를 주입할 수 있으며, 이는 MAS에서의 공격 메커니즘 및 방어 전략에 대한 새로운 연구 방향으로 이어지고 있습니다. 기존 연구는 주로 악성 에이전트가 독립적으로 작동한다고 가정하고 이에 따른 방어 전략을 조사했습니다. 그러나 본 논문에서는 악성 에이전트가 협력적인 행동을 보일 수 있으며, 내부 정보 교환을 통해 더욱 효과적인 공격을 수행할 수 있다는 점을 주장합니다. 본 연구에서는 악성 에이전트가 자율적으로 조정하고 다중 라운드 상호 작용을 통해 공격 전략을 동적으로 수정하는 적응적 협력 공격 프레임워크를 제안합니다. 또한, 에이전트 간 통신 내에서 오해의 소지가 있는 정보를 문장 수준에서 식별하고 수정하는 방어 프레임워크인 Sentence-Level Trustworthiness Analysis and Rectification (STAR)을 소개합니다. 실험 결과, 협력 공격은 독립적인 공격보다 작업 성공률 저하가 훨씬 크며, 5.34% 상대적으로 감소했습니다. 반면, STAR는 협력적 및 독립적인 위협 모두를 효과적으로 완화하고 평균 36.76%의 작업 성공률 향상을 가져왔습니다. 관련 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/smoooom/STAR.

Recent years have witnessed the rapid development of Large Language Model-based Multi-Agent Systems (MAS), which excel at collaborative decision-making and complex problem-solving. However, malicious agents in MAS may inject misinformation to mislead other agents and disrupt system performance, giving rise to a new research direction that focuses on attack mechanisms and defense strategies in MAS. Prior studies largely assume malicious agents act independently and investigate the corresponding defense strategies. However, we argue that malicious agents may exhibit collaborative behaviors, enabling more effective attacks through internal information exchange. In this paper, we propose an adaptive cooperative attack framework, where malicious agents autonomously coordinate and dynamically adjust their attack strategies through multi-round interactions. Furthermore, we introduce Sentence-Level Trustworthiness Analysis and Rectification (STAR), a defense framework that identifies and rectifies misleading information at the sentence level within agent communications. Our experiments show that cooperative attacks lead to a significantly larger degradation in task success rate than independent attacks, resulting in a relative drop of 5.34\%. Meanwhile, STAR effectively mitigates both cooperative and independent threats and improves task success rate by an average of 36.76\%. The code is available at https://github.com/smoooom/STAR.