다중 에이전트 LLM 시스템에서의 추론 시간 병렬성에 대한 두 가지 관점

A Two-Tier Perspective on Inference-Time Parallelism in Multi-Agent LLM Systems

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템은 일반적으로 추론 과정에서 여러 번의 모델 호출과 복잡한 조율을 필요로 하며, 이러한 실행 전략은 시스템의 정확도, 지연 시간 및 계산 비용에 직접적인 영향을 미칩니다. 병렬 처리는 추론 시간 효율성을 향상시키는 방법입니다. 본 논문에서는 추론 시간 실행 관점에서, 다중 에이전트 시스템에서의 병렬화를 작업 수준에서 여러 개의 완전한 해결 경로를 탐색하는 '복제 병렬성(Replica Parallelism)'과 단일 해결 경로 내에서 작업 분해를 통해 동시 처리를 가능하게 하는 '구조적 병렬성(Structural Parallelism)'이라는 두 가지 별개의 의사 결정 과정으로 모델링합니다. 그러나 다양한 형태의 병렬성의 역할과 그 상호 관계는 아직 통일된 조직 및 조율 측면에서 체계적인 연구가 부족한 실정입니다. 따라서 본 논문에서는 이러한 두 가지 수준의 병렬성을 통합하고, 통일된 실행 의미 체계를 통해 추론 과정 내에서의 역할을 조정하며, 다양한 병렬 전략과 파라미터 구성을 체계적으로 조합하고 분석할 수 있는 제어 가능한 실행 프레임워크인 TIPEX를 제안합니다. GAIA 벤치마크에 대한 체계적인 실험 결과는 추론 시간 병렬성이 토큰 소비량이 증가하는 대신 정확도를 크게 향상시키고 전체 지연 시간을 줄일 수 있음을 보여줍니다. 추가 분석 결과, 복제 병렬성과 구조적 병렬성은 작업의 난이도에 따라 상호 보완적인 효과를 나타내며, 중간 난이도의 작업에서 이 두 가지의 조율을 통해 가장 큰 성능 향상을 얻을 수 있는 반면, 지나치게 공격적인 병렬 전략은 반드시 더 나은 성능을 보장하지는 않습니다.

Large language model (LLM)-driven multi-agent systems typically require multiple model invocations and complex coordination during inference, and their execution strategies directly affect system accuracy, latency, and computational cost. Parallel execution provides a means to improve inference-time efficiency. From the perspective of inference-time execution, this paper models parallelism in multi-agent systems as two distinct levels of decision processes: Replica Parallelism, which explores multiple complete solution paths at the task level, and Structural Parallelism, which enables concurrent execution within a single solution path through task decomposition. However, the roles of different forms of parallelism and their interrelationships still lack systematic study in terms of unified organization and coordination. We therefore propose TIPEX, a controllable execution framework that unifies these two levels of parallelism and coordinates their roles within the inference process under a unified execution semantics while supporting systematic combinations and analyses of different parallel strategies and parameter configurations. Systematic experiments on the GAIA benchmark demonstrate that inference-time parallelism can significantly improve accuracy and reduce end-to-end latency at the cost of increased token consumption. Further analysis shows that Replica and Structural Parallelism exhibit complementary effects across task complexities, with tasks of intermediate difficulty benefiting most from their coordination, while overly aggressive parallel strategies do not necessarily yield better performance.