OMNI-LEAK: 조정형 다중 에이전트 네트워크에서 발생하는 데이터 유출

OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage

대규모 언어 모델(LLM) 에이전트가 더욱 발전함에 따라, 다중 에이전트 시스템 형태로의 협업 사용이 실용적인 패러다임으로 부상할 것으로 예상됩니다. 기존 연구에서는 에이전트와 관련된 안전 및 오용 위험에 대해 연구해 왔습니다. 하지만 이러한 연구는 주로 단일 에이전트의 경우에 초점을 맞추거나, 접근 제어와 같은 기본적인 보안 조치가 없는 환경을 다루는 경우가 많아, 다중 에이전트 시스템에 대한 위협 모델링이 부족합니다. 본 연구에서는 중앙 에이전트가 작업을 분해하고 전문 에이전트에 위임하는 인기 있는 다중 에이전트 패턴인 '조정형(orchestrator)' 시스템의 보안 취약점을 조사합니다. 실제 사용 사례를 대표하는 구체적인 시스템을 대상으로 공격 시뮬레이션을 수행한 결과, 'OMNI-LEAK'라는 새로운 공격 벡터를 발견했습니다. 이 공격 벡터는 여러 에이전트를 손상시켜 데이터 접근 제어가 있는 경우에도 단일 간접 프롬프트 주입을 통해 민감한 데이터를 유출할 수 있습니다. 우리는 다양한 공격 유형에 대한 최첨단 모델의 취약성을 분석한 결과, 추론 능력이 있는 모델뿐만 아니라 그렇지 않은 모델도 구현 세부 정보에 대한 내부 정보가 없는 공격자에게도 취약하다는 것을 확인했습니다. 본 연구는 단일 에이전트에서 다중 에이전트로 안전 연구를 확장하는 것이 중요하며, 이를 통해 실제 개인 정보 침해, 금전적 손실 및 AI 에이전트에 대한 전반적인 대중의 신뢰를 저해할 수 있는 심각한 위험을 줄일 수 있음을 강조합니다.

As Large Language Model (LLM) agents become more capable, their coordinated use in the form of multi-agent systems is anticipated to emerge as a practical paradigm. Prior work has examined the safety and misuse risks associated with agents. However, much of this has focused on the single-agent case and/or setups missing basic engineering safeguards such as access control, revealing a scarcity of threat modeling in multi-agent systems. We investigate the security vulnerabilities of a popular multi-agent pattern known as the orchestrator setup, in which a central agent decomposes and delegates tasks to specialized agents. Through red-teaming a concrete setup representative of a likely future use case, we demonstrate a novel attack vector, OMNI-LEAK, that compromises several agents to leak sensitive data through a single indirect prompt injection, even in the presence of data access control. We report the susceptibility of frontier models to different categories of attacks, finding that both reasoning and non-reasoning models are vulnerable, even when the attacker lacks insider knowledge of the implementation details. Our work highlights the importance of safety research to generalize from single-agent to multi-agent settings, in order to reduce the serious risks of real-world privacy breaches and financial losses and overall public trust in AI agents.