CURE: LLM 기반 추천 시스템을 위한 회로 인식 기반 학습 제거

CURE:Circuit-Aware Unlearning for LLM-based Recommendation

최근 대규모 언어 모델(LLM)의 발전은 사용자 관심사와 항목 속성에 대한 풍부한 의미론적 이해와 추론을 가능하게 하여 추천 시스템에 새로운 기회를 제공했습니다. 그러나 개인 정보 보호 규제가 강화됨에 따라 LLM 기반 추천(LLMRec)에 사용자 데이터를 통합하는 것은 상당한 개인 정보 보호 위험을 초래하며, 이는 실제 배포를 위해 학습 제거 알고리즘이 점점 더 중요해지는 이유입니다. LLMRec 학습 제거에 대한 관심이 높아지고 있지만, 대부분의 기존 접근 방식은 모델 파라미터를 균일하게 업데이트하면서 학습 제거를 망각 및 유지 목표의 가중 조합으로 정의합니다. 이러한 정의는 필연적으로 두 목표 간의 기울기 충돌을 유발하여 불안정한 최적화를 초래하며, 이는 비효율적인 학습 제거 또는 모델 유용성의 심각한 저하로 이어집니다. 또한, 학습 제거 절차는 여전히 블랙박스 방식으로 운영되어 투명성과 신뢰성을 저해합니다. 이러한 과제를 해결하기 위해, 우리는 CURE라는 회로 인식 기반 학습 제거 프레임워크를 제안합니다. CURE는 모델 구성 요소를 기능적으로 구별되는 부분 집합으로 분리하고 선택적으로 업데이트합니다. 여기서 '회로'는 특정 작업에 대한 행동에 인과적으로 책임이 있는 계산 서브그래프를 의미합니다. 구체적으로, 우리는 항목 추천을 위한 핵심 회로를 추출하고 이러한 회로 내의 개별 모듈이 망각 및 유지 목표에 어떻게 기여하는지 분석합니다. 이러한 분석을 바탕으로, 이러한 모듈은 망각에 특화된 그룹, 유지에 특화된 그룹, 그리고 작업 공유 그룹으로 분류되며, 각 그룹은 학습 제거 과정에서 기울기 충돌을 완화하기 위해 기능별 업데이트 규칙을 따릅니다. 실제 데이터 세트에 대한 실험 결과, 우리의 접근 방식은 기존의 기본 모델보다 효과적인 학습 제거를 달성하는 것으로 나타났습니다.

Recent advances in large language models (LLMs) have opened new opportunities for recommender systems by enabling rich semantic understanding and reasoning about user interests and item attributes. However, as privacy regulations tighten, incorporating user data into LLM-based recommendation (LLMRec) introduces significant privacy risks, making unlearning algorithms increasingly crucial for practical deployment. Despite growing interest in LLMRec unlearning, most existing approaches formulate unlearning as a weighted combination of forgetting and retaining objectives while updating model parameters in a uniform manner. Such formulations inevitably induce gradient conflicts between the two objectives, leading to unstable optimization and resulting in either ineffective unlearning or severe degradation of model utility. Moreover, the unlearning procedure remains largely black-box, undermining its transparency and trustworthiness. To tackle these challenges, we propose CURE, a circuit-aware unlearning framework that disentangles model components into functionally distinct subsets and selectively updates them. Here, a circuit refers to a computational subgraph that is causally responsible for task-specific behaviors. Specifically, we extract the core circuits underlying item recommendation and analyze how individual modules within these circuits contribute to the forget and retain objectives. Based on this analysis, these modules are categorized into forget-specific, retain-specific, and task-shared groups, each subject to function-specific update rules to mitigate gradient conflicts during unlearning. Experiments on real-world datasets show that our approach achieves more effective unlearning than existing baselines.