FedKDX: 부정적 지식 증류를 활용한 연합 학습 기반 의료 AI 시스템 성능 향상

FedKDX: Federated Learning with Negative Knowledge Distillation for Enhanced Healthcare AI Systems

본 논문에서는 부정적 지식 증류(Negative Knowledge Distillation, NKD)를 활용하여 의료 AI의 한계를 극복하는 연합 학습 프레임워크인 FedKDX를 소개합니다. 기존의 긍정적 지식 전달 방식에만 초점을 맞추는 기존 접근 방식과 달리, FedKDX는 의료 분야의 응용에서 모델의 일반화 성능을 향상시키기 위해 목표 정보뿐만 아니라 비목표 정보도 활용합니다. 이 프레임워크는 전통적인 지식 증류, 대비 학습, NKD 등 다양한 지식 전달 기술을 통합하여 단일 아키텍처 내에서 구현하며, 개인 정보 보호를 유지하면서 통신 비용을 줄입니다. SLEEP, UCI-HAR, PAMAP2 등 의료 데이터셋에 대한 실험 결과, FedKDX는 기존 최첨단 방법보다 정확도가 향상(최대 2.53%), 수렴 속도가 빠르며, 비독립적이고 동일한 분포(non-IID) 데이터에서도 더 나은 성능을 보였습니다. 이론적 분석은 NKD가 분산된 의료 데이터의 통계적 이질성을 해결하는 데 기여한다는 것을 뒷받침합니다. 본 연구는 HIPAA 및 GDPR과 같은 규제 프레임워크 하에서 개인 정보 보호가 중요한 의료 응용 분야에 적용될 수 있는 잠재력을 가지고 있으며, 분산된 의료 환경에서 성능과 실제 구현 요구 사항 사이의 균형을 제공하는 솔루션입니다. 코드 및 모델은 https://github.com/phamdinhdat-ai/Fed_2024 에서 확인할 수 있습니다.

This paper introduces FedKDX, a federated learning framework that addresses limitations in healthcare AI through Negative Knowledge Distillation (NKD). Unlike existing approaches that focus solely on positive knowledge transfer, FedKDX captures both target and non-target information to improve model generalization in healthcare applications. The framework integrates multiple knowledge transfer techniques--including traditional knowledge distillation, contrastive learning, and NKD--within a unified architecture that maintains privacy while reducing communication costs. Through experiments on healthcare datasets (SLEEP, UCI-HAR, and PAMAP2), FedKDX demonstrates improved accuracy (up to 2.53% over state-of-the-art methods), faster convergence, and better performance on non-IID data distributions. Theoretical analysis supports NKD's contribution to addressing statistical heterogeneity in distributed healthcare data. The approach shows promise for privacy-sensitive medical applications under regulatory frameworks like HIPAA and GDPR, offering a balanced solution between performance and practical implementation requirements in decentralized healthcare settings. The code and model are available at https://github.com/phamdinhdat-ai/Fed_2024.