에이전트 그래프: 다중 에이전트 LLM 협업을 위한 그래프 기반 프레임워크

Graph-of-Agents: A Graph-based Framework for Multi-Agent LLM Collaboration

LLM 모델과 벤치마크가 끊임없이 증가함에 따라, 향상된 작업 성능을 위해 여러 모델을 조정해야 할 필요성이 그 어느 때보다 중요해지고 있습니다. Mixture-of-Agents (MoA)와 같은 프레임워크는 LLM을 조정하려고 시도하지만, 종종 (1) 관련 에이전트 선택, (2) 효과적인 에이전트 간 통신 촉진, (3) 응답 통합 효율성 측면에서 한계를 보입니다. 본 연구에서는 다중 에이전트 LLM 통신을 모델링하기 위한 새로운 그래프 기반 프레임워크인 Graph-of-Agents (GoA)를 제안합니다. 우리의 접근 방식은 먼저 노드 샘플링을 통해 각 모델의 도메인, 작업 전문성 및 기타 특성을 요약하는 모델 카드를 활용하여 가장 관련성이 높은 에이전트를 선택합니다. 다음으로, 선택된 에이전트 간의 엣지를 구성하여 서로의 응답을 평가하고 관련성 순서를 결정합니다. 이후, 관련성이 높은 에이전트에서 관련성이 낮은 에이전트로 방향성 메시지 전달을 수행하여 응답을 개선하고, 그 반대로 메시지 전달을 수행하여 더 관련성이 높은 에이전트의 원래 응답을 개선합니다. 마지막으로, 업데이트된 응답은 그래프 기반 풀링 (예: 최대 또는 평균 풀링)을 통해 집계하여 단일하고 통합된 답변을 생성합니다. 우리는 GoA를 다양한 다중 도메인 벤치마크 (MMLU, MMLU-Pro, GPQA) 및 도메인별 벤치마크 (MATH, HumanEval, MedMCQA)에서 평가했으며, 평가에는 6개의 LLM으로 구성된 에이전트 풀을 사용했습니다. 놀랍게도, GoA는 단 3개의 선택된 에이전트만 사용하여 뛰어난 성능을 달성했으며, 이는 동시에 모든 6개의 에이전트를 사용하는 최신 다중 에이전트 LLM 기준 성능을 능가합니다. GoA는 그래프 구조를 채택하여 구조화된 메시지 전달을 통해 확장성과 효과성을 제공하며, 이는 끊임없이 증가하는 LLM 생태계의 과제를 해결하기 위한 강력한 후보가 될 수 있습니다. 코드: https://github.com/UNITES-Lab/GoA.

With an ever-growing zoo of LLMs and benchmarks, the need to orchestrate multiple models for improved task performance has never been more pressing. While frameworks like Mixture-of-Agents (MoA) attempt to coordinate LLMs, they often fall short in terms of (1) selecting relevant agents, (2) facilitating effective intra-agent communication, and (3) integrating responses efficiently. In this work, we propose Graph-of-Agents (GoA), a new graph-based framework for modeling multi-agent LLM communication. Our approach begins with node sampling, selecting only the most relevant agents by leveraging model cards that summarize each model's domain, task specialization, and other characteristics. Next, we construct edges between the selected agents by evaluating their responses against one another to determine relevance ordering. Directed message passing is then performed from highly relevant agents to less relevant ones to enhance their responses, followed by reverse message passing to refine the original responses of the more relevant agents. Finally, the updated responses are aggregated via graph-based pooling (e.g., max or mean pooling) to produce a single, unified answer. We evaluate GoA on diverse multi-domain benchmarks (MMLU, MMLU-Pro, GPQA) and domain-specific benchmarks (MATH, HumanEval, MedMCQA), with an agent pool of 6 LLMs spanning multiple domains. Surprisingly, GoA achieves superior performance using only 3 selected agents, outperforming recent multi-agent LLM baselines that utilize all 6 agents simultaneously. By adopting a graph structure, GoA offers both scalability and effectiveness through structured message passing-positioning it as a strong candidate for navigating the challenges of the ever-growing LLM zoo. Code is available at: https://github.com/UNITES-Lab/GoA.