Gemini-3-Pro를 넘어서: 대규모 LLM 라우팅 및 통합의 재조명

Beyond Gemini-3-Pro: Revisiting LLM Routing and Aggregation at Scale

대규모 언어 모델(LLM)은 급속도로 발전해 왔으며, Gemini-3-Pro는 새로운 성능 이정표를 세웠습니다. 본 연구에서는 단일 모델 확장의 대안으로 집단 지성을 탐구하고, 오픈 소스 LLM들의 협업이 Gemini-3-Pro를 능가할 수 있음을 입증합니다. 먼저 대규모 LLM 라우팅 및 통합을 재조명하고 세 가지 주요 병목 현상을 파악합니다. (1) 현재의 비학습(train-free) 라우터는 텍스트 유사성에만 초점을 맞춘 쿼리 기반 패러다임에 국한되어 있습니다. (2) 최근의 통합 방법들은 대체로 정적인 상태에 머물러 있어, 다양한 작업에 적절한 통합기(aggregator)를 선택하지 못하고 있습니다. (3) 라우팅과 통합의 상호 보완성이 충분히 활용되지 못하고 있습니다. 이러한 문제를 해결하기 위해, 우리는 세 가지 혁신을 통해 LLM 협업의 잠재력을 최대한 끌어내도록 설계된 새로운 프레임워크인 JiSi를 소개합니다. (1) 의미 정보와 문제 난이도를 모두 포착하는 쿼리-응답 혼합 라우팅, (2) 통합기의 통합 능력과 도메인 역량을 공동으로 평가하는 지원 집합(Support-Set) 기반 통합기 선택, (3) 라우팅과 통합의 장점을 동적으로 활용하는 적응형 라우팅-통합 전환입니다. 9개 벤치마크에 대한 포괄적인 실험 결과, JiSi는 10개의 오픈 소스 LLM을 조율하여 주요 기준 모델을 능가하는 동시에 단 47%의 비용으로 Gemini-3-Pro를 넘어설 수 있음을 보여줍니다. 이는 집단 지성이 인공 일반 지능(AGI)을 향한 새로운 경로임을 시사합니다.

Large Language Models (LLMs) have rapidly advanced, with Gemini-3-Pro setting a new performance milestone. In this work, we explore collective intelligence as an alternative to monolithic scaling, and demonstrate that open-source LLMs' collaboration can surpass Gemini-3-Pro. We first revisit LLM routing and aggregation at scale and identify three key bottlenecks: (1) current train-free routers are limited by a query-based paradigm focusing solely on textual similarity; (2) recent aggregation methods remain largely static, failing to select appropriate aggregators for different tasks;(3) the complementarity of routing and aggregation remains underutilized. To address these problems, we introduce JiSi, a novel framework designed to release the full potential of LLMs' collaboration through three innovations: (1) Query-Response Mixed Routing capturing both semantic information and problem difficulty; (2) Support-Set-based Aggregator Selection jointly evaluating the aggregation and domain capacity of aggregators; (3) Adaptive Routing-Aggregation Switch dynamically leveraging the advantages of routing and aggregation. Comprehensive experiments on nine benchmarks demonstrate that JiSi can surpass Gemini-3-Pro with only 47% costs by orchestrating ten open-source LLMs, while outperforming mainstream baselines. It suggests that collective intelligence represents a novel path towards Artificial General Intelligence (AGI).