안전하고 프라이버시가 보장되는 분산 베이지안 연합 학습 설계

A Secure and Private Distributed Bayesian Federated Learning Design

분산 연합 학습(DFL)은 중앙 파라미터 서버 없이 대규모 시스템 전반에서 탈중앙화된 모델 훈련을 가능하게 한다. 그러나 DFL은 정직하지만 호기심 많은 이웃으로부터의 프라이버시 유출, 중앙 조정의 부재로 인한 느린 수렴, 모델 정확도를 저하시키려는 비잔틴 공격자에 대한 취약성이라는 세 가지 주요 과제에 직면해 있다. 이러한 문제를 해결하기 위해, 우리는 비잔틴 강건성, 프라이버시 보존, 수렴 가속화를 통합한 새로운 DFL 프레임워크를 제안한다. 이 프레임워크 내에서 각 기기는 베이지안 접근법을 사용하여 로컬 모델을 훈련하고, 사후 분포 교환을 위한 최적의 이웃 부분 집합을 독립적으로 선택한다. 우리는 이 이웃 선택을 보안 및 프라이버시 제약 조건 하에서 전역 손실 함수를 최소화하는 최적화 문제로 공식화한다. 기기들이 부분적인 네트워크 정보만 가지고 있으며 토폴로지, 보안, 수렴 간의 복잡한 결합 관계가 명확하지 않기 때문에 이 문제를 해결하는 것은 까다롭다. 이러한 간극을 메우기 위해 우리는 먼저 동적 연결성, 비잔틴 탐지, 프라이버시 수준, 수렴 속도 간의 트레이드오프를 분석적으로 규명한다. 이러한 통찰을 바탕으로 완전 분산형 그래프 신경망(GNN) 기반 강화 학습(RL) 알고리즘을 개발한다. 이 접근법을 통해 기기들은 로컬 관측을 기반으로 자율적인 연결 결정을 내릴 수 있다. 시뮬레이션 결과는 우리의 방법이 기존의 보안 및 프라이버시 기법에 비해 현저히 낮은 오버헤드로 우수한 강건성과 효율성을 달성함을 입증한다.

Distributed Federated Learning (DFL) enables decentralized model training across large-scale systems without a central parameter server. However, DFL faces three critical challenges: privacy leakage from honest-but-curious neighbors, slow convergence due to the lack of central coordination, and vulnerability to Byzantine adversaries aiming to degrade model accuracy. To address these issues, we propose a novel DFL framework that integrates Byzantine robustness, privacy preservation, and convergence acceleration. Within this framework, each device trains a local model using a Bayesian approach and independently selects an optimal subset of neighbors for posterior exchange. We formulate this neighbor selection as an optimization problem to minimize the global loss function under security and privacy constraints. Solving this problem is challenging because devices only possess partial network information, and the complex coupling between topology, security, and convergence remains unclear. To bridge this gap, we first analytically characterize the trade-offs between dynamic connectivity, Byzantine detection, privacy levels, and convergence speed. Leveraging these insights, we develop a fully distributed Graph Neural Network (GNN)-based Reinforcement Learning (RL) algorithm. This approach enables devices to make autonomous connection decisions based on local observations. Simulation results demonstrate that our method achieves superior robustness and efficiency with significantly lower overhead compared to traditional security and privacy schemes.