전문가 네트워크 아키텍처: 구조 및 전문가 배치

Space Network of Experts: Architecture and Expert Placement

고효율의 지속적인 태양 에너지 수집을 활용하여, 우주 데이터 센터는 에너지 집약적인 대규모 언어 모델(LLM)을 실행하는 유망한 플랫폼으로 간주됩니다. 이러한 장점을 인식하고, 스페이스X, 구글과 같은 우주 및 AI 기업들은 이 비전에 적극적으로 투자하고 있습니다. 그러나 주요 과제는 제한된 온보드 컴퓨팅 및 통신 자원으로 인해 위성 네트워크에 대규모 LLM을 효율적으로 분산 배치하는 것입니다. 이는 모델 아키텍처와 네트워크 토폴로지의 근본적인 차이를 조정하여 낮은 지연 시간으로 토큰을 생성할 수 있도록 모델 구성 요소를 위성에 분할하고 매핑하는 배치 문제로 이어집니다. 이 문제를 해결하기 위해, 본 논문에서는 우주 환경에서 인기 있는 Mixture-of-Experts (MoE) 모델의 분산 실행을 목표로 하는 Space Network of Experts (Space-XNet) 프레임워크를 제안합니다. 제안된 배치 전략은 두 단계로 구성됩니다: (1) 레이어 배치: MoE 레이어를 위성 서브넷에 할당합니다. (2) 레이어 내 전문가 배치: 동일한 레이어/서브넷과 관련된 위성에 개별 전문가를 할당합니다. 레이어 배치를 위해, 우리는 자기 회귀 추론의 고리 모양 통신 패턴을 활용하여 위성 구성 하늘 궤도 방향을 따라 서브넷을 분할하고, 각 서브넷이 하나의 MoE 레이어를 호스팅하도록 합니다. 이 아키텍처를 기반으로, 우리는 서로 다른 활성화 확률을 가진 전문가를 위성에 매핑하는 레이어 내 전문가 배치에 대한 최적화 문제를 정의하고 해결합니다. 도출된 전략은 직관적인 원칙을 보여줍니다: 자주 활성화되는 전문가는 예상 지연 시간이 낮은 라우팅 경로상의 위성에 매핑되어야 합니다. 천 개의 위성으로 구성된 네트워크에 대한 실험 결과, Space-XNet은 기존의 무작위 및 ablation 기반 배치 전략에 비해 최소 3배의 지연 시간 감소를 달성하는 것으로 나타났습니다.

Leveraging continuous solar energy harvesting at high efficiency, space data centers are envisioned as a promising platform for executing energy-intensive large language models (LLMs). Recognizing this advantage, space and AI conglomerates (e.g., SpaceX, Google) are actively investing in this vision. One key challenge, however, is the efficient distributed deployment of a large-scale LLM in a satellite network due to the limited onboard computing and communication resources. This gives rise to a placement problem that involves partitioning and mapping model components to satellites such that the fundamentally different model architecture and network topology can be reconciled to ensure low-latency token generation. To address this problem, we present the Space Network of Experts (Space-XNet) framework targeting the distributed execution of a popular mixture-of-experts (MoE) model in space. The proposed placement strategies are two-level: (1) layer placement, which assigns MoE layers to satellite subnets; and (2) intra-layer expert placement, which assigns individual experts to satellites associated with the same layer/subnet. For layer placement, we exploit the ring-like communication pattern of autoregressive inference to partition the satellite constellation along the orbiting direction into subnets arranged on a ring, each hosting one MoE layer. Based on this architecture, we formulate and solve an optimization problem for intra-layer expert placement to map experts with heterogeneous activation probabilities onto satellites. The derived strategy reveals an intuitive principle: a frequently activated expert should be mapped to a satellite on a routing path with low expected latency. Experiments over a thousand-satellite constellation show that Space-XNet achieves at least a threefold latency reduction compared with conventional random and ablation-based placement strategies.