온서버 기반 그래디언트 충돌 완화 및 표현을 통한 효율적인 연합 학습 모델 비 학습 기술

Computation and Communication Efficient Federated Unlearning via On-server Gradient Conflict Mitigation and Expression

연합 학습 모델 비 학습(Federated Unlearning, FUL)은 특정 참여자의 데이터 기여도를 제거하여 데이터 프라이버시를 보장하고 규제 요구사항을 준수하는 것을 목표로 합니다. 그러나 FUL은 여러 가지 과제, 예를 들어 클라이언트 간 지식 접근성의 제한과 높은 계산 및 통신 비용으로 인해 발전이 제한되었습니다. 이러한 과제를 해결하기 위해, 우리는 두 가지 주요 단계를 포함하는 새로운 프레임워크인 연합 온서버 비 학습(Federated On-server Unlearning, FOUL)을 제안합니다. '학습-비 학습' 단계는 준비 학습 단계로, 모델이 삭제 대상 클라이언트와 관련된 주요 특징을 식별하고 인코딩합니다. 이 단계는 통신 효율적이며, 후속 비 학습 프로세스의 기반을 마련합니다. 그 후, 서버 측 지식 집계 단계는 클라이언트 데이터를 참조하지 않고 서버에서 비 학습 프로세스를 수행하여 효율성과 프라이버시를 모두 유지합니다. 우리는 FUL을 위한 새로운 데이터 설정을 도입하여 비 학습 성능을 보다 투명하고 엄격하게 평가할 수 있도록 합니다. 또한, 제안하는 방법의 효과를 강조하기 위해, 모델이 최적의 비 학습 성능을 달성하는 데 걸리는 시간을 측정하는 새로운 평가 지표인 '망각 시간(time-to-forget)'을 제안합니다. 세 가지 데이터 세트에서 다양한 비 학습 시나리오에 대한 광범위한 실험을 통해 FOUL이 기존의 비 학습 방법인 '재학습(Retraining)'보다 우수한 성능을 보이는 것을 확인했습니다. 또한, FOUL은 '망각 시간'을 크게 줄이면서도 경쟁력 있거나 더 나은 결과를 제공하며, 낮은 통신 및 계산 비용을 유지합니다.

Federated Unlearning (FUL) aims to remove specific participants' data contributions from a trained Federated Learning model, thereby ensuring data privacy and compliance with regulatory requirements. Despite its potential, progress in FUL has been limited due to several challenges, including the cross-client knowledge inaccessibility and high computational and communication costs. To overcome these challenges, we propose Federated On-server Unlearning (FOUL), a novel framework that comprises two key stages. The learning-to-unlearn stage serves as a preparatory learning phase, during which the model identifies and encodes the key features associated with the forget clients. This stage is communication-efficient and establishes the basis for the subsequent unlearning process. Subsequently, on-server knowledge aggregation phase aims to perform the unlearning process at the server without requiring access to client data, thereby preserving both efficiency and privacy. We introduce a new data setting for FUL, which enables a more transparent and rigorous evaluation of unlearning. To highlight the effectiveness of our approach, we propose a novel evaluation metric termed time-to-forget, which measures how quickly the model achieves optimal unlearning performance. Extensive experiments conducted on three datasets under various unlearning scenarios demonstrate that FOUL outperforms the Retraining in FUL. Moreover, FOUL achieves competitive or superior results with significantly reduced time-to-forget, while maintaining low communication and computation costs.