ConMoE: 프로토타입 재할당을 통한 전문가 풀 통합 - MoE 압축 방법

ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

Mixture-of-Experts (MoE) 언어 모델은 토큰 당 연산량을 줄이지만, 모든 전문가를 저장하고 서비스해야 하므로 배포 시 메모리 사용량이 많습니다. 기존의 훈련 후 압축 방법들은 주로 전문가를 제거하거나 가중치를 병합하여 이 비용을 줄입니다. 본 논문에서는 훈련 후 MoE 압축을 전문가 풀 통합으로 정의합니다. 즉, 사전 학습된 전문가 중 일부를 재사용 가능한 프로토타입으로 유지하고, 각 원래 전문가 참조를 선택된 프로토타입으로 결정적으로 매핑하는 방식입니다. 이러한 관점은 축소된 전문가 풀과 원래 전문가 슬롯을 나타내는 재사용 구조를 분리하며, 로컬 레이어 범위 내에서 프로토타입 공유를 가능하게 하면서 원래 라우터 인터페이스를 유지합니다. 본 논문에서는 ConMoE라는 훈련이 필요 없는 프로토타입 재매핑 프레임워크를 제안합니다. ConMoE는 교정 기반 기여도 및 대체 가능성 신호를 사용하여 유지할 전문가를 선택하고, 가중치 업데이트나 압축 후 미세 조정 없이 원래 전문가 호출을 선택된 프로토타입으로 리디렉션합니다. 세 개의 사전 학습된 MoE 언어 모델에 대한 실험 결과, ConMoE는 여러 설정에서 강력한 가지치기 및 병합 기준 성능과 동등하거나 우수한 성능을 보이며, 특히 deepseek-moe-16b-base 모델에서 25%와 50%의 라우팅 전문가 감소 시 가장 높은 평균 점수를 달성했습니다. 또한 Qwen3-30B-A3B 및 OLMoE-1B-7B-0125 모델에서도 경쟁력 있는 성능을 보였습니다. 분석 결과, 결정적인 재할당이 가장 안정적인 구성 요소이며, 더 광범위한 레이어 간 공유 및 사후 가중치 융합은 모델에 따라 달라짐을 확인했습니다.

Mixture-of-Experts (MoE) language models reduce per-token computation but still require storing and serving all experts, making deployment memory-intensive. Existing post-training compression methods mainly shrink this cost by pruning experts or merging their weights. We formulate post-training MoE compression as expert-pool consolidation: retaining a smaller set of pretrained experts as reusable prototypes and deterministically remapping each original expert reference to one selected prototype. This view separates the reduced expert pool from the reuse structure that represents the original expert slots, and allows prototype sharing within local layer scopes while preserving the original router interface. We propose ConMoE, a train-free prototype remapping framework that selects retained experts using calibration-based contribution and replaceability signals, then redirects original expert calls to the selected prototypes without weight updates or post-compression fine-tuning. Experiments on three pretrained MoE language models show that ConMoE matches or outperforms strong pruning and merging baselines in several settings, achieving the best average score on deepseek-moe-16b-base at both 25% and 50% routed-expert reduction, while remaining competitive on Qwen3-30B-A3B and OLMoE-1B-7B-0125. Ablations indicate that deterministic reassignment is the most stable component, whereas broader cross-layer sharing and post-hoc weight fusion are model-dependent.