희소 혼합 전문가(Mixture-of-Experts) 언어 모델의 가지치기에 대한 일반적인 전문가 커버리지 방법

Generic Expert Coverage for Pruning SparseMixture-of-Experts Language Models

희박하게 활성화되는 혼합 전문가(MoE) 언어 모델은 라우팅된 전문가들 간에 상당한 구조적 중복성을 가지고 있지만, 다운스트림 캘리브레이션 데이터 없이 이러한 전문가들을 가지치기하는 것은 어려운 과제입니다. 기존의 전문가 가지치기 방법은 일반적으로 단일 집계 중요도 점수에 의존하는데, 이는 지배적인 캘리브레이션 패턴에 의해 선호되는 전문가들에게 편향될 수 있습니다. 본 연구에서는 일반 텍스트 코퍼스(WikiText2 및 C4)만을 사용하여 캘리브레이션을 수행하는 커버리지 기반 전문가 가지치기 방법인 **Generic TB-Coverage**를 제안합니다. 기존 방식과 달리, 저희의 방법은 각 전문가의 유용성을 하나의 점수로 통합하는 대신, 각 코퍼스에 대해 개별적으로 전문가의 유용성을 프로파일링하고, 최종 가지치기 마스크를 구성하기 전에 각 코퍼스에서 고유용 전문가들을 보존하는 고정 예산 커버리지 규칙을 적용합니다. Qwen1.5-MoE-A2.7B 및 DeepSeek-MoE-16B-Base 모델에 대해 25%, 50% 및 75%의 유지 비율로 실험한 결과, 저희 방법은 랜덤 가지치기, REAP 및 ExpertSparsity 방법에 비해 여섯 가지 일반적인 제로샷 벤치마크에서 평균 정확도를 향상시켰으며, WikiText2 및 C4 코퍼스에서의 퍼플렉서티 저하를 줄였습니다. 특히 공격적인 가지치기(25% 및 50% 유지) 조건에서 성능 향상이 두드러졌는데, 이는 다양한 코퍼스에 걸친 전문가 커버리지를 보존하는 것이 MoE 가지치기를 위한 효과적인 일반 데이터 기반 사전 지식임을 시사합니다. 저희의 방법은 고정된 가지치기 예산 하에서 다운스트림 캘리브레이션 데이터 없이도 성능 향상을 보여줍니다.

Sparsely activated Mixture-of-Experts (MoE) language models contain substantial structured redundancy among routed experts, but pruning them without downstream calibration data remains challenging. Existing expert-pruning methods typically rely on a single aggregated importance score, which can bias the retained set toward experts favored by dominant calibration patterns. We propose \textbf{Generic TB-Coverage}, a coverage-aware expert pruning method that uses only generic text corpora (WikiText2 and C4) for calibration. Instead of collapsing expert utility into one score, our method profiles per-expert utility separately on each corpus and enforces a fixed-budget coverage rule that preserves high-utility experts from each corpus before constructing the final pruning mask. Across Qwen1.5-MoE-A2.7B and DeepSeek-MoE-16B-Base at 25\%, 50\%, and 75\% retention budgets, our method improves average accuracy on six common zero-shot benchmarks over random pruning, REAP, and ExpertSparsity, while also reducing perplexity degradation on WikiText2 and C4. The gains are largest under aggressive pruning (25\% and 50\% retain), suggesting that preserving cross-corpus expert coverage is an effective generic-data prior for MoE pruning. Our improvements hold with fixed pruning budgets and no downstream calibration data.