가지치기 후 양자화 또는 양자화 후 가지치기? 통합 모델 압축에서의 압축 순서가 미치는 영향 이해

Prune-then-Quantize or Quantize-then-Prune? Understanding the Impact of Compression Order in Joint Model Compression

여러 압축 방법을 결합할 때 어떤 일이 발생할까요? 압축 순서가 중요한가요? 통합 모델 압축은 가지치기 및 양자화와 같은 여러 방법을 결합하여 효율성을 높이는 강력한 전략으로 떠오르고 있습니다. 통합 모델 압축에서 중요한 요소이지만 제대로 연구되지 않은 부분은 압축 순서, 즉 압축 파이프라인 내에서 다양한 방법의 순서입니다. 대부분의 기존 연구에서는 기술 간의 독립성을 가정하여 이 문제를 회피하거나, 극히 제한된 경우에만 이 문제를 다루었습니다. 결과적으로, 압축 순서가 모델 성능에 미치는 광범위한 영향은 아직 제대로 이해되지 못하고 있습니다. 본 논문에서는 간과된 압축 순서 문제를 다루고, 이론적 및 실증적 분석을 제공합니다. 우리는 압축 순서 최적화 문제를 정의하고, '점진적 강도 가설'을 제시합니다. 이 가설은 약한 변화가 강한 변화보다 먼저 수행되어야 한다는 것입니다. 우리는 이론적 보장을 제공하여, 한 압축 순서의 상대적인 이점이 기본 성능 격차에 따라 증가한다는 것을 보여줍니다. 언어 및 이미지 모델에 대한 광범위한 실험은 이 가설을 검증하고, 다단계 압축 및 혼합 정밀도 양자화와 같은 더 넓은 환경에서도 일반성을 보여줍니다.

What happens when multiple compression methods are combined-does the order in which they are applied matter? Joint model compression has emerged as a powerful strategy to achieve higher efficiency by combining multiple methods such as pruning and quantization. A central but underexplored factor in joint model compression is the compression order, or the sequence of different methods within the compression pipeline. Most prior studies have either sidestepped the issue by assuming orthogonality between techniques, while a few have examined them only in highly constrained cases. Consequently, the broader role of compression order in shaping model performance remains poorly understood. In this paper, we address the overlooked problem of compression order and provide both theoretical and empirical analysis. We formulate the problem of optimizing the compression order and introduce the Progressive Intensity Hypothesis, which states that weaker perturbations should precede stronger ones. We provide theoretical guarantees showing that the relative benefit of one order increases with the underlying performance gap. Extensive experiments on both language and vision models validate the hypothesis, and further show its generality to broader setups such as multi-stage compression and mixed-precision quantization.