FedRG: 노이즈가 있는 클라이언트를 위한 연합 학습에서 표현 기하학을 활용하여 성능을 향상시키는 방법

FedRG: Unleashing the Representation Geometry for Federated Learning with Noisy Clients

연합 학습(FL)은 분산 환경에서 불가피하게 발생하는 노이즈 데이터로 인해 성능 저하가 발생합니다. 기존 연구들은 손실 값을 활용하여 데이터셋에서 노이즈 데이터를 식별하고 레이블을 수정하는 데 초점을 맞추었습니다. 하지만, 이러한 스칼라 손실 기반의 노이즈 데이터 식별 방법은 이질적인 환경에서의 연합 학습에서 신뢰성이 떨어집니다. 본 논문에서는 이러한 패러다임을 표현 관점에서 재고찰하고, 표현 기하학의 우선순위를 따르는 방법인 exttt{FedRG} ( extbf{Fed}erated under extbf{R}epresentation extbf{G}emetry)을 제안합니다. exttt{FedRG}는 먼저 자기 지도 학습을 사용하여 레이블에 독립적인 구면 표현을 생성합니다. 그런 다음, 이 기하학적 구조에 대해, 이전에 식별된 깨끗한 데이터를 사용하여 구면 von Mises-Fisher (vMF) 혼합 모델을 반복적으로 학습시켜 의미론적 클러스터를 캡처합니다. 이 기하학적 증거를 의미론적-레이블 소프트 매핑 메커니즘과 통합하여, 레이블이 없는 공간과 레이블이 지정된 공간 간의 분포 차이를 계산하여 노이즈 데이터를 안정적으로 식별하고, 새로 분리된 깨끗한 데이터셋을 사용하여 vMF 혼합 모델을 업데이트합니다. 마지막으로, 노이즈 데이터에 대해 추가적인 개인화된 노이즈 흡수 행렬을 적용하여 안정적인 최적화를 달성합니다. 광범위한 실험 결과는 exttt{FedRG}가 다양한 노이즈 클라이언트 시나리오에서 데이터 이질성이 존재하는 연합 학습 환경에서 최첨단 방법보다 훨씬 우수한 성능을 보임을 보여줍니다.

Federated learning (FL) suffers from performance degradation due to the inevitable presence of noisy annotations in distributed scenarios. Existing approaches have advanced in distinguishing noisy samples from the dataset for label correction by leveraging loss values. However, noisy samples recognition relying on scalar loss lacks reliability for FL under heterogeneous scenarios. In this paper, we rethink this paradigm from a representation perspective and propose \method~(\textbf{Fed}erated under \textbf{R}epresentation \textbf{G}emometry), which follows \textbf{the principle of ``representation geometry priority''} to recognize noisy labels. Firstly, \method~creates label-agnostic spherical representations by using self-supervision. It then iteratively fits a spherical von Mises-Fisher (vMF) mixture model to this geometry using previously identified clean samples to capture semantic clusters. This geometric evidence is integrated with a semantic-label soft mapping mechanism to derive a distribution divergence between the label-free and annotated label-conditioned feature space, which robustly identifies noisy samples and updates the vMF mixture model with the newly separated clean dataset. Lastly, we employ an additional personalized noise absorption matrix on noisy labels to achieve robust optimization. Extensive experimental results demonstrate that \method~significantly outperforms state-of-the-art methods for FL with data heterogeneity under diverse noisy clients scenarios.