PrunePath: 고도로 구조화된 희소 언어 모델을 향하여

PrunePath: Towards Highly Structured Sparse Language Models

피드포워드 네트워크(FFN)는 최신 언어 모델의 파라미터 수와 계산량을 압도적으로 차지하지만, 기존의 가지치기 방법은 종종 이러한 희소성을 하드웨어 친화적인 추론 효율성으로 전환하는 데 어려움을 겪습니다. 본 연구에서는 FFN 레이어를 위한 예산 기반의 구조적 희소화 프레임워크인 **PrunePath**를 소개합니다. PrunePath는 MoEfication을 기반으로 하며, 독립적인 전문가 수준의 임계값 처리를 소프트맥스 정규화된 라우팅 분포로 대체하고, 누적 질량 임계값을 기준으로 중요한 전문가를 활성화합니다. 이러한 구조는 토큰 단위의 확률 예산을 설정하여 적응적인 전문가 수를 가능하게 하고, 단일 체크포인트에서 추론 시간 희소성 제어를 직접 구현할 수 있도록 합니다. NLU, NLG 및 instruction-tuning 평가 결과, PrunePath는 기존의 정적 가지치기 방법과 MoEfication 기반 방법에 비해 우수한 희소성과 성능 간의 균형을 제공합니다. 또한, Triton 커널을 사용하여 KV 캐시 디코딩을 구현함으로써, 생성된 구조적 희소성을 실제 메모리 절감 및 측정 가능한 디코딩 속도 향상으로 이어지도록 했습니다. 이러한 결과는 PrunePath가 고도로 희소하고 배포에 용이한 대규모 언어 모델을 구축하는 데 우수한 성능을 제공한다는 것을 입증합니다.

Feed-forward networks (FFNs) dominate the parameter count and computation of modern language models, yet existing pruning methods often struggle to convert sparsity into hardware-friendly inference efficiency gains. We introduce \textbf{PrunePath}, a budget-adaptive structured sparsification framework for FFN layers. Built on MoEfication, PrunePath replaces independent expert-wise thresholding with a softmax-normalized routing distribution and activates important experts under a cumulative-mass threshold. This formulation imposes a token-level probability budget, enabling adaptive expert counts and a direct inference-time sparsity knob from a single checkpoint. Across NLU, NLG, and instruction-tuning evaluations, PrunePath achieves a favorable sparsity--performance trade-off compared with existing static pruning and MoEfication-based methods. We further implement Triton kernels for KV-cache decoding to translate the resulting structured sparsity into practical memory savings and measurable decoding-speed improvements. These results demonstrate the superior performance of PrunePath for building highly sparse, deployment-friendly large language models.