PAC-BENCH: 개인 정보 보호 제약 조건 하에서의 다중 에이전트 협업 평가

PAC-BENCH: Evaluating Multi-Agent Collaboration under Privacy Constraints

개인 및 조직이 서로 상호 작용하고 협력하는 전용 AI 에이전트를 점점 더 많이 사용하는 시대에 접어들고 있습니다. 그러나 개인 정보 보호 제약 조건 하에서 다중 에이전트 협업의 역학은 아직 제대로 이해되지 못하고 있습니다. 본 연구에서는 개인 정보 보호 제약 조건 하에서 다중 에이전트 협업을 체계적으로 평가하기 위한 벤치마크인 $PAC ext{-}Bench$를 제시합니다. $PAC ext{-}Bench$에 대한 실험 결과, 개인 정보 보호 제약 조건이 협업 성능을 크게 저하시키고, 결과가 시작 에이전트에 더 크게 의존한다는 것을 보여줍니다. 추가 분석 결과, 이러한 성능 저하는 초기 단계의 개인 정보 침해, 지나치게 보수적인 추상화, 개인 정보로 인한 환각 등 반복적인 조정 실패로 인해 발생합니다. 종합적으로, 본 연구의 결과는 개인 정보 보호를 고려한 다중 에이전트 협업이 기존 에이전트 기능 이상의 새로운 조정 메커니즘이 필요한, 별개의 해결되지 않은 과제임을 보여줍니다.

We are entering an era in which individuals and organizations increasingly deploy dedicated AI agents that interact and collaborate with other agents. However, the dynamics of multi-agent collaboration under privacy constraints remain poorly understood. In this work, we present $PAC\text{-}Bench$, a benchmark for systematic evaluation of multi-agent collaboration under privacy constraints. Experiments on $PAC\text{-}Bench$ show that privacy constraints substantially degrade collaboration performance and make outcomes depend more on the initiating agent than the partner. Further analysis reveals that this degradation is driven by recurring coordination breakdowns, including early-stage privacy violations, overly conservative abstraction, and privacy-induced hallucinations. Together, our findings identify privacy-aware multi-agent collaboration as a distinct and unresolved challenge that requires new coordination mechanisms beyond existing agent capabilities.