AgentSocialBench: 인간 중심 에이전트 기반 소셜 네트워크의 개인 정보 위험 평가

AgentSocialBench: Evaluating Privacy Risks in Human-Centered Agentic Social Networks

OpenClaw와 같은 개인화된, 지속적인 LLM 에이전트 프레임워크의 등장으로, 여러 분야에서 협업 AI 에이전트 팀이 개별 사용자를 위해 소셜 네트워크 내에서 서비스를 제공하는 인간 중심 에이전트 기반 소셜 네트워크가 현실화되고 있습니다. 이러한 환경은 새로운 개인 정보 보호 문제를 야기합니다. 에이전트는 영역 경계를 넘어 조정해야 하며, 인간과 소통해야 하고, 다른 사용자의 에이전트와 상호 작용해야 하며, 동시에 민감한 개인 정보를 보호해야 합니다. 기존 연구에서는 다중 에이전트 조정 및 개인 정보 보호를 평가했지만, 인간 중심 에이전트 기반 소셜 네트워크의 동역학과 개인 정보 위험은 아직 탐구되지 않았습니다. 이에, 우리는 이 환경에서 개인 정보 위험을 체계적으로 평가하기 위한 최초의 벤치마크인 AgentSocialBench를 소개합니다. AgentSocialBench는 7가지 범주의 시나리오로 구성되어 있으며, 각 시나리오는 이분법적 및 다자간 상호 작용을 포함하고, 계층적 민감도 레이블이 적용된 현실적인 사용자 프로필과 방향성 소셜 그래프를 기반으로 합니다. 우리의 실험 결과, 에이전트 기반 소셜 네트워크에서의 개인 정보 보호는 단일 에이전트 환경보다 근본적으로 더 어렵다는 것을 보여줍니다. (1) 영역 간 및 사용자 간 조정은 에이전트가 정보를 보호하도록 명시적으로 지시받더라도 지속적인 정보 유출 압력을 발생시키고, (2) 에이전트에게 민감한 정보를 추상화하는 방법을 가르치는 개인 정보 보호 지침은 역설적으로 에이전트가 해당 정보를 더 많이 언급하게 만듭니다(이를 '추상화 역설'이라고 부릅니다). 이러한 결과는 현재 LLM 에이전트가 인간 중심 에이전트 기반 소셜 네트워크에서 강력한 개인 정보 보호 메커니즘을 갖추고 있지 않으며, 실제 배포를 위해 에이전트 기반 소셜 조정을 안전하게 만들기 위해서는 프롬프트 엔지니어링을 넘어 새로운 접근 방식이 필요하다는 점을 강조합니다.

With the rise of personalized, persistent LLM agent frameworks such as OpenClaw, human-centered agentic social networks in which teams of collaborative AI agents serve individual users in a social network across multiple domains are becoming a reality. This setting creates novel privacy challenges: agents must coordinate across domain boundaries, mediate between humans, and interact with other users' agents, all while protecting sensitive personal information. While prior work has evaluated multi-agent coordination and privacy preservation, the dynamics and privacy risks of human-centered agentic social networks remain unexplored. To this end, we introduce AgentSocialBench, the first benchmark to systematically evaluate privacy risk in this setting, comprising scenarios across seven categories spanning dyadic and multi-party interactions, grounded in realistic user profiles with hierarchical sensitivity labels and directed social graphs. Our experiments reveal that privacy in agentic social networks is fundamentally harder than in single-agent settings: (1) cross-domain and cross-user coordination creates persistent leakage pressure even when agents are explicitly instructed to protect information, (2) privacy instructions that teach agents how to abstract sensitive information paradoxically cause them to discuss it more (we call it abstraction paradox). These findings underscore that current LLM agents lack robust mechanisms for privacy preservation in human-centered agentic social networks, and that new approaches beyond prompt engineering are needed to make agent-mediated social coordination safe for real-world deployment.