SimDiff: 유사성과 차이를 이용한 깊이 가지치기

SimDiff: Depth Pruning via Similarity and Difference

깊이 가지치기는 중복된 레이어를 식별하고 제거하여 대규모 언어 모델(LLM)의 배포 효율성을 향상시킵니다. 이 식별 과정에 널리 사용되는 기준은 코사인 거리를 사용하여 레이어 간의 유사성을 측정하는 것입니다. 그러나, 본 연구에서는 이 단일 차원의 휴리스틱에만 의존하는 방법이 다양한 아키텍처에서 예측 불가능한 성능을 보이며 심지어 심각한 성능 저하를 초래할 수 있음을 발견했습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 SimDiff라는 새로운 레이어 중요도 기준을 제안합니다. SimDiff는 표현 유사성과 변환 차이를 동시에 평가하여 레이어를 두 가지 직교적인 관점에서 분석합니다. 변환 차이는 MSSD (이상치에 민감하며, 결정적인 수정 사항을 만드는 레이어를 식별하는 지표) 및 MASD (레이어의 평균 기여도를 안정적으로 측정하는 지표)라는 두 가지 다른 지표를 사용하여 정량화됩니다. 0.5B에서 13B 파라미터에 이르는 다양한 모델에 대한 광범위한 실험 결과, SimDiff는 다양한 가지치기 비율에서 최첨단 기준 성능을 크게 능가하는 것으로 나타났습니다. 특히, 본 연구의 방법은 25%의 가지치기 비율에서 LLaMA2-7B의 성능의 91% 이상을 유지하며, LLaMA3.1-8B에서 12개의 레이어를 가지치면 최대 1.49배의 추론 속도 향상을 달성했습니다. 또한, 가지치기된 모델이 최소한의 미세 조정으로 효과적으로 복구될 수 있음을 보여줍니다.

Depth pruning improves the deployment efficiency of large language models (LLMs) by identifying and removing redundant layers. A widely accepted standard for this identification process is to measure the similarity between layers using cosine distance. However, we find that methods relying solely on this one-dimensional heuristic can exhibit unpredictable performance and even catastrophic collapse across different architectures. To address this issue, we propose SimDiff, a novel layer importance criterion that jointly evaluates layers from two orthogonal perspectives: representational similarity and transformation difference. The difference is quantified using two distinct metrics: MSSD, which is sensitive to outliers and identifies layers that make decisive corrections, and MASD, which robustly measures a layer's average contribution. Extensive experiments on multiple models ranging from 0.5B to 13B parameters demonstrate that SimDiff significantly outperforms state-of-the-art baselines across various pruning ratios. Notably, our method retains over 91% of LLaMA2-7B's performance at a 25% pruning ratio and achieves up to a 1.49x inference speedup when pruning 12 layers on LLaMA3.1-8B. We also show that pruned models can be effectively recovered with minimal fine-tuning.