MoE 기반 연합 학습을 통한 시공간 예측 성능 향상

MoE Enhanced Federated Learning for Spatiotemporal Prediction

교통 예측은 지능형 교통 시스템 및 도시 컴퓨팅의 핵심 요소이지만, 센서 배치 제한과 불균등한 도시 개발로 인해 많은 도시에서 여전히 교통 데이터 부족 문제가 발생합니다. 따라서, 데이터가 풍부한 도시가 데이터가 부족한 도시에 도움을 줄 수 있도록, 도시 간 지식 공유에 대한 관심이 높아지고 있습니다. 하지만 중앙 집중적인 방식은 개인 정보 보호 문제를 야기하며, 기존의 연합 학습 방법은 도시 간의 뚜렷한 시공간적 이질성을 해결하는 데 어려움을 겪습니다. 이러한 문제점을 해결하기 위해, 본 연구에서는 경량화된 Mixture-of-Experts (MoE) 네트워크를 기반으로 하는 개인 맞춤형 연합 도시 간 시공간 예측 프레임워크인 MoE-FedTP를 제안합니다. MoE-FedTP는 먼저 시공간 신경망을 사용하여 소스 및 대상 도시 모두에서 특징을 추출하고, 부분적인 파라미터 공유를 통해 다양한 소스 도시에서 파생된 전문가 네트워크 집합을 도입합니다. 게이팅 메커니즘은 다양한 교통 역학을 포착하기 위해 전문가들을 동적으로 결합하여 도시의 이질성을 세밀하게 모델링하면서 개인 정보 보호를 유지합니다. 실제 교통 데이터 네 가지에 대한 실험 결과, MoE-FedTP는 최첨단 연합 및 도시 간 학습 기준 성능보다 우수한 성능을 지속적으로 보여주며, 데이터가 부족한 도시의 예측 정확도를 향상시키는 데 효과적임을 입증합니다.

Traffic prediction is fundamental to intelligent transportation systems and urban computing, yet many cities continue to suffer from traffic data scarcity due to limited sensor deployment and uneven urban development. Cross-city knowledge transfer has thus attracted increasing attention, enabling data-rich cities to assist data-scarce ones. However, centralized approaches raise privacy concerns, while existing federated methods struggle with pronounced spatiotemporal heterogeneity across cities. To address these challenges, we propose MoE-FedTP, a personalized federated cross-city spatiotemporal prediction framework based on lightweight Mixture-of-Experts (MoE) networks. MoE-FedTP first employs spatiotemporal neural networks to extract features from both source and target cities, then introduces a set of expert networks derived from different source cities through partial parameter sharing. A gating mechanism dynamically fuses the experts to capture diverse traffic dynamics, achieving fine-grained modeling of urban heterogeneity while preserving privacy. Experiments on four real-world traffic datasets show that MoE-FedTP consistently outperforms state-of-the-art cross-city and federated learning baselines, demonstrating its effectiveness in enhancing prediction accuracy for data-scarce cities.