CoCurve: 모듈 간 공통 가지치기 곡률을 이용한 학습 불필요 구조 기반 LLM 가지치기

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

구조적 가지치기는 어텐션 헤드 및 피드 포워드(FFN) 채널 그룹과 같은 전체 연산 단위를 제거하여 대규모 언어 모델(LLM)을 압축합니다. 대부분의 학습 불필요 방법은 이러한 단위를 독립적으로 평가하며, 여러 단위를 가지치기할 때 발생하는 손실을 각 개별 손실의 합으로 간주합니다. 그러나 트랜스포머는 공유 잔차 스트림을 통해 하위 레이어가 결합되어 있으므로, 개별적으로는 약한 두 단위가 함께 중요할 수 있습니다. 이러한 의존성을 독립적인 평가는 감지하지 못하고, 결과적으로 두 단위를 함께 제거하게 됩니다. 본 논문에서는 어텐션 및 FFN 단위를 공동으로 가지치기하는 방식인 CoCurve (Cross-Module Co-Pruning Curvature)를 제안합니다. 이는 보정만 사용하며 추가적인 파인튜닝을 필요로 하지 않습니다. 동결된 모델과 마스크 처리된 모델 간의 토큰 수준 KL 발산에 대한 2차 테일러 전개를 통해, 고전적인 노드 중요도를 나타내는 대각 성분과 함께 두 단위를 공동으로 제거할 때 발생하는 추가 손실을 나타내는 공정 곡률 지표를 포함하는 Fisher 행렬을 얻습니다. 단일 단위 제거의 가산성 근사를 사용하면 이 행렬은 단일 단위 제거 특징의 그램 곱으로 줄어들므로, 전체 M x M 상호 작용을 M번의 순전파 연산을 통해 복원할 수 있습니다. 가지치기는 공유된 어텐션-FFN 예산 하에, 레이블, 파인튜닝 또는 복구 과정 없이 단일 쿼드라틱 프로그래밍 문제로 단순화되어 한 번에 해결됩니다.

Structured pruning compresses large language models (LLMs) by removing whole computational units, such as attention heads and feed-forward (FFN) channel groups. Most training-free methods, however, rank these units independently, implicitly treating the loss from pruning a set as the sum of its individual losses. This view fails for Transformers, whose sublayers are coupled through a shared residual stream. Two individually weak units can thus be jointly indispensable, yet independent scoring is blind to such dependence and removes them together. We introduce CoCurve (Cross-Module Co-Pruning Curvature), a calibration-only, fine-tuning-free method that prunes attention and FFN units jointly. A second-order Taylor expansion of the token-level KL between the frozen model and its masked copy yields a single Fisher matrix whose diagonal is classical node saliency and whose off-diagonal entries are co-pruning curvature edges: the extra damage of removing two units together. Under a single-ablation additivity approximation this matrix reduces to a Gram product of single-unit ablation features, so the full M x M interaction is recovered from M forward passes, with no pairwise sweeps or gradients. Pruning then reduces to one budgeted quadratic program, solved in a single shot under a shared attention--FFN budget, with no labels, fine-tuning, or recovery.