생성형 AI의 집단 행동에는 상호작용주의 패러다임이 필요하다
Generative AI collective behavior needs an interactionist paradigm
이 논문에서 우리는 거대언어모델(LLM) 기반 에이전트의 집단 행동을 이해하는 것이 위험과 이점 측면에서 중요한 시사점을 가지며 사회 전반에 영향을 미치는 필수적인 연구 분야라고 주장한다. 우리는 LLM의 독특한 특성, 즉 방대한 사전 학습 지식 및 암묵적인 사회적 사전 믿음(priors)으로 초기화된다는 점과 문맥 내 학습(in-context learning)을 통한 적응 능력이 상호작용주의 패러다임의 필요성을 제기한다고 본다. 다중 에이전트 생성형 AI 시스템 내에서 사전 지식과 내재된 가치가 사회적 맥락과 상호작용하여 어떻게 창발적 현상을 형성하는지 체계적으로 조사하기 위해서는 대안적인 이론적 기초, 방법론 및 분석 도구로 구성된 상호작용주의 패러다임이 필요하다. 이에 우리는 이론, 방법론, 초학제적 대화에 초점을 맞추어 LLM 기반 집단의 개발 및 배포에 중요하다고 생각되는 네 가지 방향을 제안하고 논의한다.
In this article, we argue that understanding the collective behavior of agents based on large language models (LLMs) is an essential area of inquiry, with important implications in terms of risks and benefits, impacting us as a society at many levels. We claim that the distinctive nature of LLMs--namely, their initialization with extensive pre-trained knowledge and implicit social priors, together with their capability of adaptation through in-context learning--motivates the need for an interactionist paradigm consisting of alternative theoretical foundations, methodologies, and analytical tools, in order to systematically examine how prior knowledge and embedded values interact with social context to shape emergent phenomena in multi-agent generative AI systems. We propose and discuss four directions that we consider crucial for the development and deployment of LLM-based collectives, focusing on theory, methods, and trans-disciplinary dialogue.
AI Analysis
Korean Summary
Key Innovations
- 기존 MARL(백지상태 학습)과 구별되는 생성형 AI 에이전트(사전 지식 보유) 맞춤형 이론 제시
- 개인(Person, 사전 훈련된 지식)과 상황(Situation, 프롬프트 맥락) 논쟁을 AI 집단 행동 분석에 적용
- 가중치 업데이트가 없는 인컨텍스트 러닝(ICL) 기반의 사회적 적응 및 행동 창발 분석
- AI 에이전트 간의 상호작용을 독자적인 사회적 과정으로 다루는 '기계 사회학(Sociology of Machines)' 제안
- 집단 행동의 전파 경로와 안전성을 평가하기 위한 인과 추론 및 정보 이론적 측정 도구 도입
Learning & Inference Impact
이 논문은 생성형 AI 에이전트들이 상호작용할 때 모델의 파라미터(가중치)를 영구적으로 업데이트하는 '학습'보다는, 추론 단계에서 인컨텍스트 러닝(ICL)을 통해 맥락에 적응하는 방식이 주가 됨을 강조합니다. 이는 에이전트의 행동이 사전 학습된 고정된 지식과 실시간 사회적 맥락의 결합으로 결정됨을 의미하며, 추론 시점의 프롬프트와 상호작용 이력이 집단적 규범이나 편향의 창발에 결정적인 영향을 미친다는 점을 시사합니다. 따라서 향후 AI 개발 및 평가는 개별 모델의 성능 최적화를 넘어, 다중 에이전트 환경에서의 상호작용 역학을 제어하고 예측하는 방향으로 전환되어야 함을 역설합니다.
Technical Difficulty
Estimated implementation complexity based on methodology.