MetaMoE: 프록시 선택 시 다양성을 고려한 프라이버시 보호 혼합 전문가 모델 통합

MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification

혼합 전문가(MoE) 모델은 전문화된 전문가를 결합하여 성능을 향상시키지만, 기존의 대부분 접근 방식은 중앙 집중식 데이터 접근을 가정합니다. 현실에서는 데이터가 클라이언트 간에 분산되어 있으며, 프라이버시 제약으로 인해 공유가 불가능하여 통합된 MoE 학습이 어렵습니다. 본 논문에서는 공개 프록시 데이터를 사용하여 접근 불가능한 개인 데이터를 대체하는 프라이버시 보호 프레임워크인 MetaMoE를 제안합니다. MetaMoE의 핵심은 다양성을 고려한 프록시 선택으로, 클라이언트-도메인 관련성이 높고 다양한 샘플을 공개 데이터에서 선택하여 개인 데이터 분포를 효과적으로 근사하고 라우터 학습을 지도합니다. 이러한 프록시는 또한 전문가 학습을 정렬하는 데 사용되어 통합 시 전문가 간의 조화를 개선하며, 컨텍스트 인식 라우터는 이질적인 입력에 대한 전문가 선택을 향상시킵니다. 컴퓨터 비전 및 자연어 처리 벤치마크 실험 결과, MetaMoE는 기존의 프라이버시 보호 MoE 통합 방법보다 우수한 성능을 보였습니다. 코드는 https://github.com/ws-jiang/MetaMoE 에서 확인할 수 있습니다.

Mixture-of-Experts (MoE) models scale capacity by combining specialized experts, but most existing approaches assume centralized access to training data. In practice, data are distributed across clients and cannot be shared due to privacy constraints, making unified MoE training challenging. We propose MetaMoE, a privacy-preserving framework that unifies independently trained, domain-specialized experts into a single MoE using public proxy data as surrogates for inaccessible private data. Central to MetaMoE is diversity-aware proxy selection, which selects client-domain-relevant and diverse samples from public data to effectively approximate private data distributions and supervise router learning. These proxies are further used to align expert training, improving expert coordination at unification time, while a context-aware router enhances expert selection across heterogeneous inputs. Experiments on computer vision and natural language processing benchmarks demonstrate that MetaMoE consistently outperforms recent privacy-preserving MoE unification methods. Code is available at https://github.com/ws-jiang/MetaMoE.