재고찰: 온화한 재학습 - 구문이 학습 해제 실패의 숨겨진 원인

Rethinking Benign Relearning: Syntax as the Hidden Driver of Unlearning Failures

머신 러닝 모델에서 특정 내용을 제거하면서 전체 성능을 유지하는 것을 목표로 하는 학습 해제(unlearning) 기술은, '온화한 재학습(benign relearning)' 현상으로 인해 근본적인 한계를 드러냅니다. 온화한 재학습은, 잊혀진 정보가 겉보기에는 무해한 추가 학습 데이터에서도 다시 나타나는 현상입니다. 기존 연구에서는 이 현상을 주제적 연관성으로 설명하지만, 본 연구에서는 이러한 설명이 충분하지 않다고 판단합니다. 체계적인 분석을 통해, 주제적 연관성보다 구문 유사성이 회복의 주요 원인임을 입증했습니다. 다양한 벤치마크에서, 주제적으로 관련이 없더라도 구문적으로 유사한 데이터는 표현 및 기울기 측면에서 잊혀진 정보와 일치하여 회복을 유발합니다. 이러한 통찰력을 바탕으로, 우리는 학습 해제 전에 원래의 삭제 요청을 다양한 구조로 재구성하는 '구문 다양화(syntactic diversification)'라는 새로운 방법을 제안합니다. 이 방법은 온화한 재학습을 효과적으로 억제하고, 학습 속도를 가속화하며, 학습 해제의 효과와 모델 유용성 간의 균형을 크게 개선합니다.

Machine unlearning aims to remove specific content from trained models while preserving overall performance. However, the phenomenon of benign relearning, in which forgotten information reemerges even from benign fine-tuning data, reveals that existing unlearning methods remain fundamentally fragile. A common explanation attributes this effect to topical relevance, but we find this account insufficient. Through systematic analysis, we demonstrate that syntactic similarity, rather than topicality, is the primary driver: across benchmarks, syntactically similar data consistently trigger recovery even without topical overlap, due to their alignment in representations and gradients with the forgotten content. Motivated by this insight, we introduce syntactic diversification, which paraphrases the original forget queries into heterogeneous structures prior to unlearning. This approach effectively suppresses benign relearning, accelerates forgetting, and substantially alleviates the trade-off between unlearning efficacy and model utility.