GradPruner: 그래디언트 기반 레이어 가지치기 기법 - LLM의 효율적인 미세 조정 및 추론을 위한 방법

GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs

대규모 언어 모델(LLM)을 다운스트림 데이터로 미세 조정하는 것은 종종 시간이 오래 걸리고 비용이 많이 드는 작업으로 여겨집니다. 구조적 가지치기 방법은 주로 사전 훈련된 모델의 추론 효율성을 향상시키는 데 사용됩니다. 그러나 이러한 방법은 종종 추가적인 시간과 메모리를 필요로 하며, 이는 모델 훈련, 지식 증류, 구조 탐색 등 다양한 전략을 포함합니다. 따라서 효율적인 모델 미세 조정을 달성하는 것이 어렵습니다. 본 연구에서는 다운스트림 작업 미세 조정의 훈련 및 추론 효율성을 동시에 향상시키기 위해, 미세 조정 초기 단계에서 그래디언트를 기반으로 LLM의 레이어를 가지치기하는 GradPruner라는 새로운 방법을 제안합니다. GradPruner는 미세 조정 초기 단계 동안 각 파라미터의 누적 그래디언트를 사용하여 초기 그래디언트 정보 누적 행렬(IGIA-Matrix)을 계산하고, 이를 통해 레이어의 중요도를 평가하고 가지치기를 수행합니다. 가지치기된 레이어는 IGIA-Matrix를 기반으로 희소화되고, 나머지 레이어와 병합됩니다. 병합 과정에서는 부호가 동일한 요소만 병합하여 부호 변화로 인한 간섭을 줄입니다. 우리는 두 개의 LLM 모델을 사용하여 8개의 다운스트림 데이터셋에 대한 광범위한 실험을 수행했습니다. 여기에는 의료, 금융 및 일반 벤치마크 작업이 포함됩니다. 실험 결과, GradPruner는 40%의 파라미터 감소를 달성하면서도 정확도가 0.99%만 감소하는 것을 확인했습니다. 본 연구의 코드는 공개적으로 제공됩니다.

Fine-tuning Large Language Models (LLMs) with downstream data is often considered time-consuming and expensive. Structured pruning methods are primarily employed to improve the inference efficiency of pre-trained models. Meanwhile, they often require additional time and memory for training, knowledge distillation, structure search, and other strategies, making efficient model fine-tuning challenging to achieve. To simultaneously enhance the training and inference efficiency of downstream task fine-tuning, we introduce GradPruner, which can prune layers of LLMs guided by gradients in the early stages of fine-tuning. GradPruner uses the cumulative gradients of each parameter during the initial phase of fine-tuning to compute the Initial Gradient Information Accumulation Matrix (IGIA-Matrix) to assess the importance of layers and perform pruning. We sparsify the pruned layers based on the IGIA-Matrix and merge them with the remaining layers. Only elements with the same sign are merged to reduce interference from sign variations. We conducted extensive experiments on two LLMs across eight downstream datasets. Including medical, financial, and general benchmark tasks. The results demonstrate that GradPruner has achieved a parameter reduction of 40% with only a 0.99% decrease in accuracy. Our code is publicly available.