의사 결정 표현 변화를 통한 레이어 가지치기가 적용된 대규모 언어 모델의 성능 저하 현상 분석

Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions

레이어 가지치기는 대규모 언어 모델(LLM)의 계산 비용을 효율적으로 줄일 수 있지만, 종종 갑작스러운 성능 저하를 유발합니다. 기존의 표현 기반 분석 방법으로는 이러한 현상을 설명하기 어렵습니다. 본 연구에서는 의사 결정 표현을 통해 가지치기를 분석하고자 합니다. 다중 선택 문제에 초점을 맞춰, 의사 결정 마진(Decision Margin)과 선택지 빈도(Option Frequency)라는 두 가지 지표와 반복적인 가지치기 방법(Iterative Pruning)을 도입하여 레이어별 의사 결정 과정을 분석했습니다. 연구 결과, 모델이 정답을 예측할 수 없는 '침묵 단계(Silent Phase)'와 정답 예측이 가능한 '결정 단계(Decisive Phase)'로 네트워크를 분리하는 뚜렷한 의사 결정 전환(decision transition)이 나타나는 것을 확인했습니다. 또한, '결정 단계'를 가지치기하면 성능에 거의 영향을 미치지 않는 반면, '침묵 단계'를 가지치기하면 즉각적인 성능 저하가 발생하는 것을 확인했습니다. 이는 '침묵 단계'가 구조적 변화에 매우 민감하게 반응한다는 것을 시사합니다. 따라서, 가지치기에 의한 성능 저하는 '침묵 단계'의 파괴로 인해 발생하며, 이는 중요한 의사 결정 전환이 발생하는 것을 막습니다.

Layer pruning efficiently reduces Large Language Model (LLM) computational costs but often triggers sudden performance collapse. Existing representation-based analyses struggle to explain this mechanism. We propose studying pruning through decision representation. Focusing on multiple-choice tasks, we introduce two metrics, Decision Margin and Option Frequency, and an Iterative Pruning method to analyze layer-wise decision dynamics. Our findings reveal a sharp decision transition that partitions the network into two stages: a Silent Phase, where the model cannot yet predict the correct answer, and a Decisive Phase, where the correct prediction emerges. We also find that pruning the Decisive Phase has minimal impact, whereas pruning the Silent Phase triggers immediate performance collapse, highlighting its extreme sensitivity to structural changes. Therefore, we conclude that pruning-induced collapse stems from disrupting the Silent Phase, which prevents the critical decision transition from occurring.