AS-FedBridge: 가짜 스파이크 브리지 증류를 이용한 이종 ANN-SNN 연합 학습

AS-FedBridge: Pseudo-Spike Bridge Distillation for Heterogeneous ANN-SNN Federated Learning

연합 학습은 분산된 엣지 장치에서 데이터 개인 정보를 엄격하게 보호하면서 협력적인 모델 학습을 가능하게 합니다. 자원 제약이 있는 엣지 장치에 실제 적용하기 위해, 스파이킹 뉴럴 네트워크(SNN)는 전통적인 인공 신경망(ANN)의 희소 계산 메커니즘과 높은 에너지 효율성 덕분에 유망한 대안으로 부상했습니다. 그러나 ANN와 SNN을 함께 학습하는 것은 표현 불일치라는 과제를 야기하며, 이는 정보 표현 방식의 차이로 인해 발생합니다. 특히 ANN에서 연속적인 실수 값 활성화 값과 SNN에서 발생하는 이산적인 시공간 스파이크 간의 의미론적 간극이 이러한 불일치를 초래합니다. 이러한 장벽을 극복하기 위해, 우리는 혼합된 ANN-SNN 클라이언트를 위한 새로운 연합 학습 프레임워크인 AS-FedBridge를 제안합니다. AS-FedBridge는 경량 브리지와 가짜 스파이크 인터페이스를 특징으로 하며, 연속 신호를 스파이크 호환 공간으로 효과적으로 투영하여 ANN-SNN 정렬을 용이하게 합니다. 기존의 혼합된 ANN-SNN 연합 학습 프레임워크가 없기 때문에, 우리는 다양한 고급 이종 FL 방법과 비교 평가할 수 있는 포괄적인 벤치마크를 구축했습니다. 우리의 실험적 분석 결과, ANN-SNN 정렬 정도와 협력적인 FL 성능 사이에 긍정적인 상관 관계가 있음을 보여줍니다. 네 가지 데이터 세트에서 AS-FedBridge는 일관되게 우수한 정확도를 보이며 극단적인 규모, 아키텍처 및 클라이언트 이질성 문제를 완화합니다. 또한, 우리의 프레임워크는 모델 성능과 자원 효율성 간의 제어 가능한 균형을 제공합니다. AS-FedBridge는 최소한의 계산 오버헤드를 도입하면서 강력한 성능 향상을 달성하여 혼합된 ANN-SNN 연합 학습 시스템에 대한 견고하고 실용적인 기반을 구축합니다.

Federated learning enables collaborative model training across distributed edge devices while strictly preserving data privacy. To facilitate practical deployment on resource-constrained edge devices, Spiking Neural Networks (SNNs) have emerged as a promising alternative to traditional Artificial Neural Networks (ANNs) due to their sparse computing mechanisms and high energy efficiency. However, jointly training ANNs and SNNs exposes a challenge of representational misalignment, which is intrinsically caused by differences in information representation, specifically the semantic gap between continuous real-valued activations in ANNs and discrete spatio-temporal spikes in SNNs. To overcome this barrier, we propose AS-FedBridge, a novel federated learning framework tailored for mixed ANN-SNN clients. AS-FedBridge features a lightweight Bridge equipped with a Pseudo-Spike Interface, which effectively projects continuous signals into a spike-compatible space to facilitate ANN-SNN alignment. Given the absence of existing mixed ANN-SNN federated frameworks, we establish a comprehensive benchmark to evaluate against multiple advanced heterogeneous FL methods. Our empirical analysis demonstrates a positive correlation between the degree of ANN-SNN alignment and the collaborative FL performance. Across four datasets, AS-FedBridge consistently demonstrates advanced accuracy while mitigating extreme scale, architecture, and client heterogeneity challenge. Furthermore, our framework enables a highly controllable trade-off between model performance and resource efficiency. AS-FedBridge accomplishes these robust performance gains while introducing only marginal computational overhead, establishing a robust and practical foundation for mixed ANN-SNN federated learning systems.