에이전트가 인간을 외집단으로 인식할 때: LLM 기반 에이전트의 신념 의존적 편향

When Agents See Humans as the Outgroup: Belief-Dependent Bias in LLM-Powered Agents

본 논문은 LLM 기반 에이전트가 인구통계학적 편향(예: 성별, 종교)뿐만 아니라 최소한의 "우리" 대 "그들"이라는 단서만으로도 집단 간 편향을 보인다는 사실을 밝힙니다. 이러한 집단 경계가 에이전트와 인간의 구분과 일치할 때 새로운 편향 위험이 발생합니다. 즉, 에이전트가 다른 AI 에이전트를 내집단으로, 인간을 외집단으로 취급할 수 있다는 것입니다. 이러한 위험을 조사하기 위해 통제된 다중 에이전트 사회 시뮬레이션을 수행한 결과, 에이전트끼리만 존재하는 환경에서 에이전트들이 일관된 집단 간 편향을 보임을 확인했습니다. 더 결정적인 것은, 에이전트가 상대방이 진정한 인간인지 불확실해하는 인간 대면 상호작용에서도 이러한 편향이 지속된다는 점이며, 이는 인간에 대한 편향 억제 기제가 신념에 의존하여 쉽게 무너질 수 있음을 드러냅니다. 이러한 관찰에 착안하여, 우리는 정체성 신념에 뿌리를 둔 새로운 공격 표면을 식별하고, 에이전트의 정체성 신념을 조작하여 인간에 대한 외집단 편향을 유도할 수 있는 '신념 오염 공격(Belief Poisoning Attack, BPA)'을 정식화합니다. 광범위한 실험을 통해 다양한 환경에서 에이전트의 집단 간 편향이 만연해 있다는 점과 BPA의 심각성을 입증하는 한편, 우리가 제안한 방어 기법이 이러한 위험을 완화할 수 있음을 보여줍니다. 이러한 발견은 보다 안전한 에이전트 설계를 위한 정보를 제공하고, 인간을 상대하는 에이전트를 위한 더욱 견고한 안전장치 마련의 동기를 부여할 것으로 기대됩니다.

This paper reveals that LLM-powered agents exhibit not only demographic bias (e.g., gender, religion) but also intergroup bias under minimal "us" versus "them" cues. When such group boundaries align with the agent-human divide, a new bias risk emerges: agents may treat other AI agents as the ingroup and humans as the outgroup. To examine this risk, we conduct a controlled multi-agent social simulation and find that agents display consistent intergroup bias in an all-agent setting. More critically, this bias persists even in human-facing interactions when agents are uncertain about whether the counterpart is truly human, revealing a belief-dependent fragility in bias suppression toward humans. Motivated by this observation, we identify a new attack surface rooted in identity beliefs and formalize a Belief Poisoning Attack (BPA) that can manipulate agent identity beliefs and induce outgroup bias toward humans. Extensive experiments demonstrate both the prevalence of agent intergroup bias and the severity of BPA across settings, while also showing that our proposed defenses can mitigate the risk. These findings are expected to inform safer agent design and motivate more robust safeguards for human-facing agents.