프롬프트 최적화가 LLM 에이전트의 안정적인 알고리즘 기반 담합을 가능하게 함

Prompt Optimization Enables Stable Algorithmic Collusion in LLM Agents

시장에서 LLM 에이전트는 알고리즘 기반 담합의 위험을 내포합니다. 기존 연구에서 LLM 에이전트가 암묵적인 조율을 통해 경쟁 수준을 뛰어넘는 가격을 형성한다는 사실이 밝혀졌지만, 현재 연구는 주로 수동으로 설계된 프롬프트에 초점을 맞추고 있습니다. 프롬프트 최적화라는 새로운 패러다임은 자율 에이전트의 행동을 이해하기 위한 새로운 방법론을 요구합니다. 본 연구에서는 프롬프트 최적화가 시장 시뮬레이션에서 담합적인 행동을 유발하는지 조사합니다. 우리는 LLM 에이전트가 과점 시장에서 경쟁하며, LLM 메타 최적화기가 공유된 전략적 지침을 반복적으로 개선하는 메타 학습 루프를 제안합니다. 실험 결과, 메타 프롬프트 최적화는 에이전트가 기준 에이전트보다 훨씬 높은 수준의 조율 품질을 가진 안정적인 암묵적인 담합 전략을 발견하도록 한다는 것을 보여줍니다. 이러한 행동은 테스트 시장에서도 일반화되어, 일반적인 조율 원칙이 발견되었음을 시사합니다. 진화된 프롬프트 분석 결과, 안정적인 공유 전략을 통한 체계적인 조율 메커니즘이 밝혀졌습니다. 본 연구 결과는 자율 다중 에이전트 시스템에서 AI 안전성에 대한 추가적인 연구의 필요성을 강조합니다.

LLM agents in markets present algorithmic collusion risks. While prior work shows LLM agents reach supracompetitive prices through tacit coordination, existing research focuses on hand-crafted prompts. The emerging paradigm of prompt optimization necessitates new methodologies for understanding autonomous agent behavior. We investigate whether prompt optimization leads to emergent collusive behaviors in market simulations. We propose a meta-learning loop where LLM agents participate in duopoly markets and an LLM meta-optimizer iteratively refines shared strategic guidance. Our experiments reveal that meta-prompt optimization enables agents to discover stable tacit collusion strategies with substantially improved coordination quality compared to baseline agents. These behaviors generalize to held-out test markets, indicating discovery of general coordination principles. Analysis of evolved prompts reveals systematic coordination mechanisms through stable shared strategies. Our findings call for further investigation into AI safety implications in autonomous multi-agent systems.