ICCU: 패턴 기반 거부 규칙을 활용한 문맥 내 지속적 삭제 기법

ICCU: In-Context Continual Unlearning via Pattern-Induced Refusal Rules

머신 러닝 모델에서 특정 데이터의 영향을 제거하는 기술인 '삭제 학습(unlearning)'은, 실제 환경에서는 요청이 순차적으로 발생하는 경우가 많습니다. 이는 기존의 미세 조정(fine-tuning) 기반 방법론에 어려움을 야기하는데, 각 요청에 대한 미세 조정을 수행하는 것은 비용이 많이 들고, 유용성을 감소시키며, 요청 간의 상호 간섭을 일으킬 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 문맥 내 지속적 삭제 프레임워크인 ICCU (In-Context Continual Unlearning)를 제안합니다. ICCU는 삭제 데이터셋으로부터 사람이 읽을 수 있는 거부 규칙을 유도하고, 모델 파라미터를 변경하지 않고 추론 시에 시스템 프롬프트 또는 필터로 적용합니다. ICCU는 규칙이 순서에 의존하지 않는 집합으로 누적되기 때문에, 모듈화되어 있으며 요청 간의 상호 간섭이 없습니다. 또한, 규칙 유도 후에는 원래 삭제 대상 데이터를 폐기할 수 있습니다. 광범위한 실험 결과, ICCU는 목표 지식을 효과적으로 억제하면서도 유용성을 유지하고, 순차적인 요청에 대해 확장 가능하며, 패러프레이즈(문장 재구성) 및 다국어 쿼리에 강건함을 보이는 것으로 나타났습니다.

Machine unlearning aims to remove the influence of specific data from trained language models. In real-world deployments, unlearning requests often arrive sequentially, which challenges existing fine-tuning-based methods: fine-tuning each request is costly, accumulates utility loss, and may cause cross-request interference. To address these issues, we propose ICCU (In-Context Continual Unlearning), an in-context continual unlearning framework that induces readable refusal rules from unlearning datasets and applies them at inference time either as a filter or via the system prompt, without modifying model parameters. Because rules are accumulated as an order-independent union, ICCU is compositional and free of cross-request interference, and the original forget-set data can be discarded after rule induction. Extensive experiments show that ICCU effectively suppresses target knowledge while preserving utility, scales across sequential requests, and remains robust to paraphrased and cross-lingual queries.