FedTopo: 모델 이질성을 고려한 연관 관계 기반 토폴로지 공유를 통한 분산 학습

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

분산 학습(FL)은 원시 데이터를 중앙 집중화하지 않고도 분산된 데이터 저장소에서 협업 학습을 가능하게 합니다. 그러나 다양한 로컬 아키텍처는 종종 정렬되지 않은 표현 공간을 유발하여, 글로벌 지식을 저장소 간에 전달하기 어렵게 만듭니다. 기존의 방식들은 이러한 지식을 모델 파라미터, 증류된 예측 값 또는 클래스 프로토타입 형태로 공유하지만, 이 모든 것들은 클라이언트 전체에서 일치해야 하는 절대적인 공간에 정보를 인코딩합니다. 이질적인 백본 구조는 이러한 정렬을 깨뜨리므로, 공유되는 지식은 신뢰성이 떨어지고 로컬 학습을 잘못 안내할 수 있습니다. 본 논문에서는 글로벌 지식을 클래스 간의 관계 토폴로지로 표현하는 연관 관계 기반 프레임워크인 FedTopo를 제안합니다. 각 클라이언트는 로컬 프로토타입으로부터 관계 토폴로지를 구축하고, 클래스 통계 정보와 함께 서버에 업로드합니다. 서버는 이러한 관계들을 신뢰도에 따라 가중치를 부여하여 집계하고, 글로벌 토폴로지를 클라이언트에게 브로드캐스팅합니다. 글로벌 토폴로지는 토폴로지가 유사한 음수 클래스를 강조함으로써 로컬 학습을 안내합니다. 8가지 이질적인 백본 구조를 가진 세 가지 데이터셋에 대한 실험 결과, FedTopo는 기존의 파라미터 공유, 증류 및 프로토타입 공유 방식보다 일관되게 우수한 성능을 보이며, 낮은 통신 비용과 추론 오버헤드를 갖습니다. 저희 코드의 GitHub 주소는 https://github.com/Zhaoyang-Ma/FedTopo 입니다.

Federated learning (FL) enables collaborative learning over decentralized data silos without centralizing raw data. However, heterogeneous local architectures often induce non-aligned representation spaces, making it difficult to transfer global knowledge across silos. Existing paradigms share this knowledge as model parameters, distilled predictions, or class prototypes, yet all encode it in an absolute space that must be aligned across clients. Heterogeneous backbones break this alignment, so the shared knowledge becomes unreliable and misleads local training. We propose FedTopo, a relation-level framework that encodes global knowledge as class relation topology, capturing how classes relate within each client rather than where they lie in feature space. Each client builds its relation topology from local prototypes and uploads it with class statistics. The server then aggregates these relations in a reliability-aware manner that down-weights weakly supported ones, and broadcasts the global topology to clients. The global topology guides local training by emphasizing topology-similar negative classes. Experiments on three datasets under eight heterogeneous backbones show that FedTopo consistently outperforms parameter-, distillation-, and prototype-sharing baselines, with low communication and no inference overhead. Our code is available at https://github.com/Zhaoyang-Ma/FedTopo.