인과 추론을 활용한 LLM 기반 다중 에이전트 시스템의 효율적이고 설명 가능한 통신 토폴로지 발견

Discovering Efficient and Explainable Communication Topologies for LLM-based Multi-Agent Systems via Causal Inference

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)의 성능은 효과적인 통신 토폴로지에 크게 의존합니다. 기존의 토폴로지 생성 방법들은 일반적으로 작업 수준의 보상에 의해 주도되는 블랙박스 최적화를 통해 통신 토폴로지를 학습합니다. 이러한 최적화는 효과적이지만, 특정 통신 연결이 선택된 이유에 대한 통찰력을 제공하지 않아 성공적인 협업을 책임지는 핵심 통신 부분 그래프를 식별하기 어렵습니다. 이러한 제한 사항을 해결하기 위해, 우리는 임의의 토폴로지 생성기에서 생성된 통신 토폴로지에 대한 해석 가능한 설명을 제공하는 모델 불변 프레임워크인 E2-Explainer를 제안합니다. 구체적으로, 우리는 토폴로지 설명을 작업 보존에 대한 엣지 수준의 증거에 의해 뒷받침되는 간결한 통신 부분 그래프를 식별하는 인과적 기여 문제로 정의합니다. 우리는 Granger 스타일의 목적 함수를 사용하여 각 통신 채널을 마스킹했을 때 작업 결과와 최종 응답의 안정성이 어떻게 변화하는지를 측정하여 이러한 증거를 얻습니다. 결과적으로 생성된 예산 내의 부분 그래프는 효율적인 사후 설명을 가능하게 하는 암모티화된 설명기로 정제되어, 배포 시 반복적인 엣지 수준 평가 없이도 설명을 제공할 수 있습니다. 다양한 추론 및 코딩 벤치마크에서의 광범위한 실험 결과, E2-Explainer는 성공적인 협업을 유지하는 핵심 통신 부분 그래프를 식별한다는 것을 보여줍니다. 이러한 부분 그래프는 불필요한 통신 연결을 제거하여 통신 비용을 크게 줄이면서도 경쟁력 있는 작업 성능을 유지하면서 직접 실행될 수 있습니다.

The performance of large language model (LLM)-based multi-agent systems (MAS) largely depends on effective communication topologies. Existing topology generation methods, however, typically learn communication topologies through black-box optimization driven solely by task-level rewards. While effective, such optimization provides little insight into why particular communication edges are selected, making it difficult to identify the critical communication subgraphs responsible for successful collaboration. To address this limitation, we propose E2-Explainer, a model-agnostic framework for providing interpretable explanations of communication topologies produced by arbitrary topology generators. Specifically, we formulate topology explanation as a causal attribution problem that identifies compact communication subgraphs supported by edge-level evidence of task preservation. We obtain this evidence with a Granger-style objective that measures how masking each communication channel changes the task outcome and the stability of the final response. The resulting budgeted subgraphs are then distilled into an amortized explainer, enabling efficient post-hoc explanation without repeated edge-level evaluations at deployment. Extensive experiments on multiple reasoning and coding benchmarks demonstrate that E2-Explainer identifies critical communication subgraphs that preserve successful collaboration. These subgraphs can also be executed directly to prune redundant communication edges, substantially reducing communication costs while maintaining competitive task performance.