QuantFL: 사전 훈련 모델 양자화를 통한 엣지 IoT 환경의 지속 가능한 연합 학습

QuantFL: Sustainable Federated Learning for Edge IoT via Pre-Trained Model Quantisation

연합 학습(FL)은 사물 인터넷(IoT) 장치에서 개인 정보 보호 기능을 제공하지만, 빈번한 상향 전송으로 인해 상당한 탄소 발자국을 초래합니다. 사전 훈련된 모델이 엣지 장치에서 점점 더 많이 사용되고 있지만, 이러한 모델이 미세 조정 과정의 에너지 오버헤드를 줄이는 데 얼마나 효과적인지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 사전 훈련된 초기화 값을 활용하여 공격적이고 계산적으로 가벼운 양자화를 가능하게 하는 지속 가능한 연합 학습 프레임워크인 QuantFL을 제안합니다. 실험 결과, 사전 훈련은 업데이트 통계량을 자연스럽게 집중시키므로, 에너지 집약적인 복잡한 오류 피드백 메커니즘 없이도 메모리 효율적인 버킷 양자화를 사용할 수 있음을 확인했습니다. MNIST 및 CIFAR-100 데이터셋에서 QuantFL은 전체 통신량을 40% 줄였습니다 (전체 비트 수를 약 40% 감소; 전체 정밀도 하향 링크의 경우) 또는 80% 이상 감소시켰습니다 (상향 링크 또는 하향 링크가 양자화된 경우). 또한, QuantFL은 엄격한 대역폭 제약 조건 하에서 압축되지 않은 기준 모델과 동등하거나 더 나은 성능을 보이며, 정확도는 MNIST에서 89.00%, CIFAR-100에서 66.89%로, 훨씬 적은 비트 수로 달성되었습니다. 또한, 상향 및 하향 링크 비용을 고려하고, 양자화 수준 및 초기화 방법에 대한 분석을 수행했습니다. QuantFL은 배터리 제약이 있는 IoT 네트워크에서 확장 가능한 학습을 위한 실용적이고

Federated Learning (FL) enables privacy-preserving intelligence on Internet of Things (IoT) devices but incurs a significant carbon footprint due to the high energy cost of frequent uplink transmission. While pre-trained models are increasingly available on edge devices, their potential to reduce the energy overhead of fine-tuning remains underexplored. In this work, we propose QuantFL, a sustainable FL framework that leverages pre-trained initialisation to enable aggressive, computationally lightweight quantisation. We demonstrate that pre-training naturally concentrates update statistics, allowing us to use memory-efficient bucket quantisation without the energy-intensive overhead of complex error-feedback mechanisms. On MNIST and CIFAR-100, QuantFL reduces total communication by 40\% ($\simeq40\%$ total-bit reduction with full-precision downlink; $\geq80\%$ on uplink or when downlink is quantised) while matching or exceeding uncompressed baselines under strict bandwidth budgets; BU attains 89.00\% (MNIST) and 66.89\% (CIFAR-100) test accuracy with orders of magnitude fewer bits. We also account for uplink and downlink costs and provide ablations on quantisation levels and initialisation. QuantFL delivers a practical, "green" recipe for scalable training on battery-constrained IoT networks.