Dense2MoE: 통합된 가지치기 및 업사이클링을 통해 온디바이스 LLM의 파레토 최적 전선 확장

Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling

Mixture of Experts (MoE) 아키텍처는 제한된 자원을 가진 온디바이스 환경에 매우 유망하지만, 처음부터 이러한 모델을 학습하는 데 드는 비용은 상당합니다. 현재 방법들은 밀집 모델을 MoE로 변환하여 이 문제를 완화하려고 시도하지만, 종종 파라미터 중복성을 발생시켜 추론 효율성을 저하시킵니다. 반면, 일반적인 레이어 가지치기는 중복성을 줄이지만 필연적으로 모델 정확도를 손상시킵니다. 이러한 딜레마를 해결하기 위해 우리는 Layer Fusion Up-Cycling (LF UC)을 통해 가지치기와 업사이클링을 통합하는 새로운 프레임워크인 Dense2MoE를 제안합니다. 하드웨어 Roofline 이론에 의해 안내된 Dense2MoE는 대역폭 사용량이 많은 어텐션 모듈을 중복 레이어에서 제거하여 체계적으로 추론 메모리 병목 현상을 극복하고, 동시에 해당 다층 퍼셉트론 (MLP)을 MoE 전문가로 재활용합니다. 이러한 구조적 혁신은 모델의 핵심 기능을 유지하며 선택적인 토큰 라우팅을 통해 활성 파라미터 수를 엄격하게 제한합니다. 비교적 적은 양의 지속적인 사전 학습 예산을 사용하여 Dense2MoE는 공개적으로 사용 가능한 밀집 LLM을 온디바이스에 적합한 MoE 모델로 효율적으로 변환합니다. 광범위한 실험 결과, Dense2MoE가 온디바이스 추론 지연 시간과 모델 정확도 간의 파레토 최적 전선을 크게 향상시키며, 기존 밀집 모델, 최첨단 압축 방법 및 표준 업사이클링 방법을 능가한다는 것을 보여줍니다.

The Mixture of Experts MoE architecture is highly promising for resource constrained on device deployments yet training these models from scratch incurs prohibitive costs Current methods attempt to alleviate this by upcycling dense models into MoEs however they often introduce parameter redundancy that degrades inference efficiency Alternatively standard layer pruning mitigates redundancy but inevitably compromises model accuracy To resolve this dilemma we propose Dense2MoE a novel framework that unifies pruning and upcycling through Layer Fusion UpCycling LF UC Guided by hardware Roofline theory Dense2MoE systematically overcomes the inference memory wall by pruning bandwidth heavy attention modules from redundant layers while repurposing their Multi Layer Perceptrons MLPs into MoE experts This structural innovation preserves the models core capabilities and strictly limits active parameters via selective token routing With a modest continual pre training budget Dense2MoE efficiently converts publicly available dense LLMs into on device ready MoE models Extensive experiments demonstrate that Dense2MoE significantly advances the Pareto frontier for on device inference latency versus model accuracy outperforming dense baselines state of the art compression and standard upcycling methods