파라미터 클러스터링을 이용한 음성 기반 모델의 데이터 및 학습 불필요 압축 방안 연구

Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

본 논문에서는 k-means를 활용한 채널별 클러스터링 기법을 사용하여 음성 기반 모델의 데이터와 학습 과정이 전혀 필요 없는 새로운 압축 방법을 제안합니다. 또한, 레이어별로 다른 수의 파라미터 클러스터를 적용하여 더욱 세밀한 스파스(희소) 가지치기를 탐색했습니다. LibriSpeech 데이터셋에 대한 실험 결과, HuBERT-large 모델에서 50%의 가지치기 비율을 적용했을 때, 기존의 크기 기반 가지치기에 비해 fine-tuning 전 test-clean 및 test-other 부분집합에서 각각 27.73%/18.61% (절대값), 34.37%/21.91% (상대적)의 WER 감소를 보였으며, 단 3 epoch의 fine-tuning 후에는 0.19%/0.79% (절대값), 3.36%/4.62% (상대적)의 WER 감소가 관찰되었습니다. Whisper-large-v3 모델에서 10%의 스파스 비율을 적용했을 때도, 크기 기반 가지치기에 비해 2.86%/5.02% (절대값), 59.21%/55.29% (상대적)의 WER 감소가 나타났으며, 이는 압축되지 않은 기준 모델에 비해 WER이 크게 증가하지 않았습니다.

This paper presents a novel data-free and training-free compression approach for speech foundation models using channelwise clustering via k-means. More fine-grained, mixed sparsity pruning by layer-level varying number of parameter clusters is also explored. Experiments conducted on the LibriSpeech dataset suggest that when operating with pruning sparsity of 50% on HuBERT-large, consistent WER reductions of 27.73%/18.61% absolute (34.37%/21.91% relative) over the magnitude-based pruning were obtained on the test-clean and test-other subsets before fine-tuning and 0.19%/0.79% absolute (3.36%/4.62% relative) after fine-tuning with only 3 epochs. Similar WER reductions of 2.86%/5.02% absolute (59.21%/55.29% relative) were observed against magnitudebased pruning on Whisper-large-v3 at 10% sparsity, all with no significant WER increase relative to the uncompressed baseline.