모드 연결성을 통한 머신 언러닝 이해

Understanding Machine Unlearning Through the Lens of Mode Connectivity

머신 언러닝은 학습된 모델에서 원치 않는 정보를 제거하는 것을 목표로 하며, 이를 위해 처음부터 전체 재학습을 수행하지 않습니다. 최근의 발전에도 불구하고, 언러닝 과정에서의 손실 지형과 최적화 기하학 구조에 대한 이해는 아직 부족합니다. 본 논문에서는 모드 연결성이라는 관점에서 머신 언러닝을 연구합니다. 모드 연결성은 독립적으로 학습된 모델들이 매개변수 공간에서 부드럽고 낮은 손실 경로로 연결될 수 있는 현상을 의미합니다. 우리는 '언러닝에서의 모드 연결성(MCU)' 개념을 도입하고, 다양한 환경에서 이를 평가합니다. 여기에는 커리큘럼 학습, 2차 최적화 및 서로 다른 언러닝 방법 간의 연결성이 포함됩니다. 연구 결과, 많은 언러닝된 모델들이 부드러운 유지/삭제 동작을 보이는 연결된 영역에 위치하며, 학습 동역학의 변화는 이러한 영역을 이동시킬 수 있습니다. 또한, MCU는 동일한 영역 내의 모델들이 개인 정보 보호 측면에서 크게 다를 수 있으며, 원래 모델부터 언러닝된 모델로의 전환이 비선형적으로 진행된다는 것을 보여줍니다. 더욱이, 선형 연결성은 대부분의 근사적인 언러닝 방법들이 본질적으로 재학습과 다르다는 것을 시사합니다. 마지막으로, MCU 기반 앙상블은 일반화 성능을 향상시키고 재학습 공격에 대한 강건성을 높일 수 있으며, MCU의 부드러움 정도는 언러닝의 난이도와 관련이 있습니다. 지금까지 모드 연결성이라는 관점에서 머신 언러닝을 연구한 첫 번째 논문이라고 할 수 있습니다.

Machine Unlearning aims to remove undesired information from trained models without full retraining from scratch. Despite recent progress, the loss landscape and optimization geometry of unlearning are poorly understood. In this paper, we study machine unlearning through the lens of mode connectivity--the phenomenon that independently trained models can often be connected by smooth low-loss paths in parameter space. We introduce {\em mode connectivity in unlearning} (MCU) and evaluate it across a range of settings, including curriculum learning, second-order optimization, and connectivity across different unlearning methods. We find that many unlearned models lie in connected basins with smooth retain/forget behavior, while changes in training dynamics can move solutions into different basins. MCU also reveals that models within the same basin can differ substantially on privacy metrics, and that unlearning progresses nonlinearly from the original model to the unlearned model. In addition, linear connectivity suggests that most approximate unlearning methods are mechanistically distinct from retraining. Finally, MCU-based ensembling can improve generalization and robustness to relearning attacks, and MCU smoothness correlates with unlearning difficulty. To our knowledge, this is the first study of machine unlearning through the lens of mode connectivity.