자기 주도적 학습 삭제: LLM 에이전트와 머신 학습 삭제의 만남

Agentic Unlearning: When LLM Agent Meets Machine Unlearning

본 논문에서는 폐쇄 루프 상호 작용을 갖는 에이전트의 모델 파라미터와 지속적인 메모리에서 특정 정보를 제거하는 **자기 주도적 학습 삭제 (agentic unlearning)**를 소개합니다. 기존의 학습 삭제 방법은 파라미터에만 초점을 맞추므로, 다음과 같은 두 가지 중요한 문제점이 남아 있습니다: (i) 파라미터-메모리 간의 역방향 영향 (parameter-memory backflow), 여기서 정보 검색은 파라미터 잔류물을 활성화시키거나, 메모리 아티팩트는 민감한 콘텐츠를 재도입할 수 있으며, (ii) 파라미터와 메모리 경로를 모두 포괄하는 통합 전략의 부재. 본 논문에서는 파라미터와 메모리 경로를 동시에 삭제하는 프레임워크인 동기화된 역방향 학습 삭제 (Synchronized Backflow Unlearning, SBU)를 제시합니다. 메모리 경로는 의존성 폐쇄 기반의 학습 삭제를 수행하여, 고립된 엔티티를 제거하고 논리적으로 공유된 아티팩트를 무효화합니다. 파라미터 경로는 확률적 참조 정렬을 사용하여 모델 출력을 높은 엔트로피의 사전 분포에 맞추도록 유도합니다. 이러한 경로는 동기화된 이중 업데이트 프로토콜을 통해 통합되어, 메모리 학습 삭제와 파라미터 억제가 서로를 강화하여 경로 간의 재오염을 방지하는 폐쇄 루프 메커니즘을 형성합니다. 의료 질의응답 벤치마크를 사용한 실험 결과, SBU는 파라미터와 메모리 경로 모두에서 대상 개인 정보의 흔적을 줄이는 동시에, 유지되는 데이터에 대한 성능 저하를 최소화하는 것으로 나타났습니다.

In this paper, we introduce \textbf{agentic unlearning} which removes specified information from both model parameters and persistent memory in agents with closed-loop interaction. Existing unlearning methods target parameters alone, leaving two critical gaps: (i) parameter-memory backflow, where retrieval reactivates parametric remnants or memory artifacts reintroduce sensitive content, and (ii) the absence of a unified strategy that covers both parameter and memory pathways. We present Synchronized Backflow Unlearning (SBU), a framework that unlearns jointly across parameter and memory pathways. The memory pathway performs dependency closure-based unlearning that prunes isolated entities while logically invalidating shared artifacts. The parameter pathway employs stochastic reference alignment to guide model outputs toward a high-entropy prior. These pathways are integrated via a synchronized dual-update protocol, forming a closed-loop mechanism where memory unlearning and parametric suppression reinforce each other to prevent cross-pathway recontamination. Experiments on medical QA benchmarks show that SBU reduces traces of targeted private information across both pathways with limited degradation on retained data.