ReM-MoA: 추론 메모리가 다중 에이전트 시스템의 확장성을 유지합니다.

ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

다중 에이전트(MoA) 아키텍처는 여러 LLM 에이전트를 계층화된 추론 파이프라인으로 구성하여 추론 시간의 확장성을 향상시킵니다. 그러나 기존 MoA 모델은 깊이가 증가함에 따라 성능 저하, 초기 정체 또는 포화 현상을 보이며, 이러한 장점을 유지하지 못합니다. 본 논문에서는 ReM-MoA라는 메모리 증강 MoA 프레임워크를 제안합니다. 이는 두 가지 메커니즘을 통해 확장성을 유지합니다: (1) 순위 기반 추론 메모리는 비교 검토 에이전트를 사용하여 모든 계층에서 생성된 추론 과정을 지속적으로 저장하고 순위를 매기며, (2) 선별된 다양한 메모리 라우팅 방식은 성공적이고 실패한 추론 과정의 조합을 다양한 에이전트에 노출시켜 탐색 다양성을 유지하면서 고품질 추론을 전파합니다. 또한, 최첨단 모델의 감독 하에 순위 품질을 향상시키는 선택적인 다중 도메인 검토 증류 파이프라인을 도입했습니다. 수학, 형식 논리, 코드, 지식 및 상식 등 5가지 추론 벤치마크에서 ReM-MoA는 깊이와 너비 모두에서 기존 MoA 모델보다 일관되게 우수한 성능을 보이며, 깊이가 증가할수록 그 장점이 더 크게 나타납니다. 이는 계층 간의 구조화된 추론 메모리가 확장 가능한 다중 에이전트 추론을 위한 핵심적인 요소임을 보여줍니다.

Mixture-of-Agents (MoA) architectures improve inference-time scaling by organizing multiple LLM agents into layered reasoning pipelines. However, existing MoA variants fail to sustain gains as depth increases, exhibiting degradation, early plateauing, or saturation. We propose ReM-MoA, a memory-augmented MoA framework that sustains scaling through two mechanisms: (1) a Ranked Reasoning Memory that persistently stores and ranks reasoning traces from all layers using a comparative Reviewer Agent, and (2) a Curated Diversified Memory Routing scheme that exposes different agents to distinct combinations of successful and failed traces, preserving exploration diversity while propagating high-quality reasoning. We further introduce an optional multi-domain Reviewer distillation pipeline that improves ranking quality through frontier-model supervision. Across five reasoning benchmarks spanning math, formal logic, code, knowledge, and commonsense, ReM-MoA consistently outperforms prior MoA variants across both depth and width scaling, and its advantage widens with depth, establishing structured cross-layer reasoning memory as a key missing mechanism for scalable multi-agent inference.