이질적인 분산 학습 환경에서 레이블 오염 공격에 대한 가중 평균의 토폴로지-독립적인 강건성

Topology-Independent Robustness of the Weighted Mean under Label Poisoning Attacks in Heterogeneous Decentralized Learning

실용적인 분산 신호 처리 및 머신러닝 시스템에서 악의적인 공격에 대한 강건성은 매우 중요합니다. 이러한 공격의 대표적인 예는 레이블 오염 공격으로, 일부 에이전트가 손상된 로컬 레이블을 가지고 있으며, 이러한 오염된 데이터로 학습된 모델을 공유하는 경우입니다. 악의적인 공격에 대한 방어를 위해 기존 연구에서는 주로 강건한 집계기를 설계하는 데 중점을 두었으며, 가중 평균 집계기는 일반적으로 단순하고 취약한 기본 모델로 간주됩니다. 본 논문에서는 레이블 오염 공격 하에서 분산 경사 하강법의 강건성을 분석하며, 강건한 집계기와 가중 평균 집계기를 모두 고려합니다. 이론적 결과는 강건한 집계기의 학습 오류가 네트워크 토폴로지에 의존하는 반면, 가중 평균 집계기의 성능은 토폴로지에 독립적임을 보여줍니다. 주목할 만한 점은, 일반적으로 취약하다고 여겨지는 가중 평균 집계기가 충분한 이질성이 존재하는 경우, 특히 다음 조건이 충족될 때 강건한 집계기보다 우수한 성능을 보일 수 있다는 것입니다: (i) 전체 네트워크에서 오염된 에이전트의 비율(글로벌 오염률)이 일반 에이전트의 이웃 에이전트 중 오염된 에이전트의 최대 비율(로컬 오염률)보다 작을 때; (ii) 일반 에이전트 네트워크가 분리되어 있을 때; 또는 (iii) 일반 에이전트 네트워크가 희소하고 로컬 오염률이 높을 때. 실험 결과는 이러한 이론적 결과를 뒷받침하며, 네트워크 토폴로지가 레이블 오염 공격에 대한 강건성에서 중요한 역할을 한다는 점을 강조합니다.

Robustness to malicious attacks is crucial for practical decentralized signal processing and machine learning systems. A typical example of such attacks is label poisoning, meaning that some agents possess corrupted local labels and share models trained on these poisoned data. To defend against malicious attacks, existing works often focus on designing robust aggregators; meanwhile, the weighted mean aggregator is typically considered a simple, vulnerable baseline. This paper analyzes the robustness of decentralized gradient descent under label poisoning attacks, considering both robust and weighted mean aggregators. Theoretical results reveal that the learning errors of robust aggregators depend on the network topology, whereas the performance of weighted mean aggregator is topology-independent. Remarkably, the weighted mean aggregator, although often considered vulnerable, can outperform robust aggregators under sufficient heterogeneity, particularly when: (i) the global contamination rate (i.e., the fraction of poisoned agents for the entire network) is smaller than the local contamination rate (i.e., the maximal fraction of poisoned neighbors for the regular agents); (ii) the network of regular agents is disconnected; or (iii) the network of regular agents is sparse and the local contamination rate is high. Empirical results support our theoretical findings, highlighting the important role of network topology in the robustness to label poisoning attacks.