MoE에서의 전문가 특화에 대한 신화: 라우팅이 반드시 도메인 전문성을 반영하는 것은 아니다

The Myth of Expert Specialization in MoEs: Why Routing Reflects Geometry, Not Necessarily Domain Expertise

혼합 전문가(MoE) 모델은 대규모 언어 모델에서 널리 사용되고 있지만, 이들의 "전문가 특화" 메커니즘은 여전히 제대로 이해되지 못하고 있습니다. 본 연구에서는 MoE 라우터가 선형 매핑이기 때문에, 숨겨진 상태의 유사성이 전문가 사용 유사성을 설명하는 데 필요충분하다는 것을 보여줍니다. 따라서 특화는 라우팅 아키텍처 자체가 아닌, 표현 공간의 자연스러운 결과라는 것을 알 수 있습니다. 우리는 5개의 사전 학습된 모델에서 토큰 및 시퀀스 수준 모두에서 이러한 현상을 확인했습니다. 또한, 로드 밸런싱 손실이 공유된 숨겨진 상태 방향을 억제하여 라우팅 다양성을 유지하며, 이는 덜 다양한 데이터(예: 작은 배치)에서 특화가 붕괴되는 현상에 대한 이론적 설명을 제공할 수 있습니다. 이러한 명확한 메커니즘적 설명에도 불구하고, 사전 학습된 MoE 모델에서 관찰되는 특화 패턴은 인간의 해석에 저항합니다. 예를 들어, 동일한 질문에 대해 다른 모델이 응답할 때 전문가 간의 중복은 완전히 다른 질문에 대한 경우보다 높지 않으며(약 60%), 프롬프트 수준의 라우팅은 전체 실행 수준의 라우팅을 예측하지 못합니다. 또한, 더 깊은 레이어에서는 의미적으로 관련 없는 입력에 대해 거의 동일한 전문가 활성화가 나타납니다. 결론적으로, MoE 모델의 효율성은 잘 이해되고 있지만, 전문가 특화에 대한 이해는 LLM의 숨겨진 상태 기하학을 이해하는 것만큼 어렵습니다. LLM 숨겨진 상태 기하학은 오랫동안 연구되어 온 미해결 과제입니다.

Mixture of Experts (MoEs) are now ubiquitous in large language models, yet the mechanisms behind their "expert specialization" remain poorly understood. We show that, since MoE routers are linear maps, hidden state similarity is both necessary and sufficient to explain expert usage similarity, and specialization is therefore an emergent property of the representation space, not of the routing architecture itself. We confirm this at both token and sequence level across five pre-trained models. We additionally prove that load-balancing loss suppresses shared hidden state directions to maintain routing diversity, which might provide a theoretical explanation for specialization collapse under less diverse data, e.g. small batch. Despite this clean mechanistic account, we find that specialization patterns in pre-trained MoEs resist human interpretation: expert overlap between different models answering the same question is no higher than between entirely different questions ($\sim$60\%); prompt-level routing does not predict rollout-level routing; and deeper layers exhibit near-identical expert activation across semantically unrelated inputs, especially in reasoning models. We conclude that, while the efficiency perspective of MoEs is well understood, understanding expert specialization is at least as hard as understanding LLM hidden state geometry, a long-standing open problem in the literature.