제미니-3-프로를 넘어서: 대규모 LLM 라우팅 및 집계 재검토

Beyond Gemini-3-Pro: Revisiting LLM Routing and Aggregation at Scale

대규모 언어 모델(LLM)은 빠르게 발전하고 있으며, 제미니-3-프로는 새로운 성능 지표를 제시했습니다. 본 연구에서는 단일 모델 확장의 대안으로서 집단 지능을 탐구하고, 오픈 소스 LLM 간의 협업이 제미니-3-프로를 능가할 수 있음을 보여줍니다. 우리는 먼저 대규모 LLM 라우팅 및 집계 방식을 재검토하고, 세 가지 주요 병목 현상을 식별했습니다. (1) 현재의 학습이 필요 없는 라우터는 텍스트 유사성에만 집중하는 쿼리 기반 패러다임에 의해 제한됩니다. (2) 최근의 집계 방법은 대부분 정적이며, 다양한 작업에 적합한 집계기를 선택하는 데 실패합니다. (3) 라우팅과 집계의 상호 보완성은 충분히 활용되지 못하고 있습니다. 이러한 문제점을 해결하기 위해, 우리는 LLM의 협업 잠재력을 최대한 발휘할 수 있도록 설계된 새로운 프레임워크인 JiSi를 소개합니다. JiSi는 다음과 같은 세 가지 혁신을 통해 이를 달성합니다. (1) 쿼리-응답 혼합 라우팅을 통해 의미 정보와 문제 난이도를 모두 고려합니다. (2) 서포트-셋 기반 집계기 선택을 통해 집계기의 집계 성능과 도메인 적합성을 동시에 평가합니다. (3) 적응형 라우팅-집계 전환을 통해 라우팅과 집계의 장점을 동적으로 활용합니다. 9개의 벤치마크에 대한 종합적인 실험 결과, JiSi는 10개의 오픈 소스 LLM을 활용하여 47%의 비용으로 제미니-3-프로를 능가하며, 기존의 주요 모델들을 능가하는 성능을 보여줍니다. 이는 집단 지능이 인공 일반 지능(AGI)으로 나아가는 새로운 경로를 제시한다는 것을 의미합니다.

Large Language Models (LLMs) have rapidly advanced, with Gemini-3-Pro setting a new performance milestone. In this work, we explore collective intelligence as an alternative to monolithic scaling, and demonstrate that open-source LLMs' collaboration can surpass Gemini-3-Pro. We first revisit LLM routing and aggregation at scale and identify three key bottlenecks: (1) current train-free routers are limited by a query-based paradigm focusing solely on textual similarity; (2) recent aggregation methods remain largely static, failing to select appropriate aggregators for different tasks;(3) the complementarity of routing and aggregation remains underutilized. To address these problems, we introduce JiSi, a novel framework designed to release the full potential of LLMs' collaboration through three innovations: (1) Query-Response Mixed Routing capturing both semantic information and problem difficulty; (2) Support-Set-based Aggregator Selection jointly evaluating the aggregation and domain capacity of aggregators; (3) Adaptive Routing-Aggregation Switch dynamically leveraging the advantages of routing and aggregation. Comprehensive experiments on nine benchmarks demonstrate that JiSi can surpass Gemini-3-Pro with only 47% costs by orchestrating ten open-source LLMs, while outperforming mainstream baselines. It suggests that collective intelligence represents a novel path towards Artificial General Intelligence (AGI).