다중 에이전트 LLM 시스템에서의 다양성 감소: 구조적 결합과 집단적 실패 - 개방형 아이디어 생성에서의 연구

Diversity Collapse in Multi-Agent LLM Systems: Structural Coupling and Collective Failure in Open-Ended Idea Generation

다중 에이전트 시스템(MAS)은 집단적 상호작용이 탐색 다양성을 확대할 것이라는 기대에 따라, 개방형 아이디어 생성에 점점 더 많이 사용되고 있습니다. 그러나 이러한 협력이 실제로 해결 공간을 어떻게 확장하는지에 대한 메커니즘은 여전히 불분명합니다. 본 연구는 모델 지능, 에이전트 인지, 시스템 역학의 세 가지 하위 수준에서 MAS 기반 아이디어 생성의 다양성에 대한 체계적인 실증 연구를 제시합니다. 모델 수준에서, 우리는 더 강력하고 정렬된 모델이 샘플당 품질이 높음에도 불구하고, 다양성을 감소시키는 '계산 효율성 역설'을 확인했습니다. 인지 수준에서, 권위 중심의 역학은 주니어 에이전트 중심 그룹에 비해 의미적 다양성을 억제합니다. 시스템 수준에서, 그룹 크기 증가에 따른 효과는 점차 감소하며, 밀집된 통신 구조는 조기 수렴을 가속화합니다. 우리는 이러한 결과를 구조적 결합으로 인해 발생하는 집단적 실패로 특징짓습니다. 구조적 결합은 상호작용이 의도치 않게 에이전트의 탐색 범위를 축소시키고 다양성 감소를 유발하는 과정입니다. 분석 결과, 이러한 감소는 모델 자체의 부족함보다는 상호작용 구조에서 주로 발생하는 것으로 나타났으며, 이는 창의적인 작업을 위한 MAS를 설계할 때 독립성과 의견 불일치를 유지하는 것이 중요하다는 점을 강조합니다. 본 연구의 코드는 https://github.com/Xtra-Computing/MAS_Diversity 에서 확인할 수 있습니다.

Multi-agent systems (MAS) are increasingly used for open-ended idea generation, driven by the expectation that collective interaction will broaden the exploration diversity. However, when and why such collaboration truly expands the solution space remains unclear. We present a systematic empirical study of diversity in MAS-based ideation across three bottom-up levels: model intelligence, agent cognition, and system dynamics. At the model level, we identify a compute efficiency paradox, where stronger, highly aligned models yield diminishing marginal diversity despite higher per-sample quality. At the cognition level, authority-driven dynamics suppress semantic diversity compared to junior-dominated groups. At the system level, group-size scaling yields diminishing returns and dense communication topologies accelerate premature convergence. We characterize these outcomes as collective failures emerging from structural coupling, a process where interaction inadvertently contracts agent exploration and triggers diversity collapse. Our analysis shows that this collapse arises primarily from the interaction structure rather than inherent model insufficiency, highlighting the importance of preserving independence and disagreement when designing MAS for creative tasks. Our code is available at https://github.com/Xtra-Computing/MAS_Diversity.