분산 학습에서의 적응적 채널 가지치기를 위한 레이블 기반 채널 중요도 점수 활용

Exploiting Label-Aware Channel Scoring for Adaptive Channel Pruning in Split Learning

분산 학습(SL)은 대부분의 학습 부담을 서버로 전가하여 클라이언트 장치의 계산 부담을 줄여줍니다. 그러나 중간 특징 표현, 즉 '뭉개진 데이터'의 전송은 상당한 통신 오버헤드를 발생시키는데, 특히 많은 수의 클라이언트 장치가 관련된 경우 더욱 그렇습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 적응적 채널 가지치기 지원 분산 학습(ACP-SL) 방식을 제안합니다. ACP-SL에서, 레이블 기반 채널 중요도 점수(LCIS) 모듈은 중요한 채널과 중요하지 않은 채널을 구별하여 채널 중요도 점수를 생성하도록 설계되었습니다. 이러한 점수를 기반으로, 적응적 채널 가지치기(ACP) 모듈이 개발되어 중요하지 않은 채널을 가지치고, 결과적으로 해당 뭉개진 데이터를 압축하고 통신 오버헤드를 줄입니다. 실험 결과는 ACP-SL이 테스트 정확도 측면에서 기존 방식보다 일관되게 우수한 성능을 보임을 보여줍니다. 또한, ACP-SL은 더 적은 훈련 라운드에서 목표 테스트 정확도에 도달하여 통신 오버헤드를 더욱 줄입니다.

Split learning (SL) transfers most of the training workload to the server, which alleviates computational burden on client devices. However, the transmission of intermediate feature representations, referred to as smashed data, incurs significant communication overhead, particularly when a large number of client devices are involved. To address this challenge, we propose an adaptive channel pruning-aided SL (ACP-SL) scheme. In ACP-SL, a label-aware channel importance scoring (LCIS) module is designed to generate channel importance scores, distinguishing important channels from less important ones. Based on these scores, an adaptive channel pruning (ACP) module is developed to prune less important channels, thereby compressing the corresponding smashed data and reducing the communication overhead. Experimental results show that ACP-SL consistently outperforms benchmark schemes in test accuracy. Furthermore, it reaches a target test accuracy in fewer training rounds, thereby reducing communication overhead.