PRMU: 멀티모달 대규모 언어 모델에서의 개인 중심 지식 삭제를 위한 코퍼스-프리 벤치마크

PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 풍부한 개인 관련 정보를 저장하고 불러오는 놀라운 능력을 보여주며, 이는 신뢰할 수 있는 정보 제거에 대한 우려를 증폭시키고 있습니다. 그러나 MLLM을 위한 기존의 머신 러닝 기반 삭제 기법들은 일반적으로 원본 데이터를 활용해야 하는데, 실제 삭제 시나리오에서는 이러한 데이터가 종종 존재하지 않습니다. 이러한 제한점을 해결하기 위해, 우리는 현실적인 개인 중심 삭제 요청 하에서 코퍼스-프리 멀티모달 삭제를 평가하는 벤치마크인 PRMU를 소개합니다. PRMU는 자연적으로 습득된 개인 관련 지식에 초점을 맞추고, 다양한 텍스트 및 시각적 탐색 방법을 통해 모델이 목표 지식을 제거하면서도 관련된 지식을 보존하는지 평가하며, 여기에는 적대적 평가와 세분화된 지역성 분석이 포함됩니다. 이 연구 환경을 촉진하기 위해, 우리는 또한 유사성 기반 프로젝션 편집(SGPE)이라는 경량의 코퍼스-프리 삭제 기준선을 소개합니다. SGPE는 지식 이동, 보호된 파라미터 공간 편집, 그리고 지역성을 고려한 멀티모달 제어를 특징으로 합니다. 대표적인 MLLM에 대한 광범위한 실험 결과, 기존의 삭제 방법들은 종종 바람직하지 않은 망각-지역성 균형 문제를 겪으며, 특히 강력한 망각 설정에서 상당한 지역성 저하가 발생하고, 여전히 멀티모달 지식 재활성화에 취약하다는 것을 보여줍니다. 반면, SGPE는 목표 지식 삭제, 지역성 보존 및 일반적인 멀티모달 유용성 간의 경쟁력 있는 균형을 제공합니다. 우리는 PRMU가 현실적이고 확장 가능한 멀티모달 머신 러닝 기반 삭제 연구를 촉진할 수 있기를 바랍니다. 코드와 데이터셋은 https://github.com/2231122/PRMU 에서 공개됩니다.

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in storing and recalling rich person-related knowledge, raising increasing concerns about reliable knowledge removal. However, existing machine unlearning approaches for MLLMs typically assume access to original forget and retain corpora, which are often unavailable in realistic deletion scenarios. To address this limitation, we introduce PRMU, a benchmark for evaluating corpus-free multimodal unlearning under realistic person-centric deletion requests. PRMU focuses on naturally acquired person-related knowledge and evaluates whether models can remove target knowledge while preserving related knowledge through diverse textual and visual probes, including adversarial evaluation and fine-grained locality analysis. To facilitate research in this setting, we further introduce Similarity-Gated Projection Editing (SGPE), a lightweight corpus-free unlearning baseline with knowledge displacement, protected parameter-space editing, and locality-aware multimodal control. Extensive experiments on representative MLLMs reveal that existing unlearning methods often suffer from unfavorable forgetting-locality trade-offs, with significant locality degradation under aggressive forgetting settings, and remain vulnerable to multimodal knowledge reactivation. Meanwhile, SGPE provides a competitive trade-off between target forgetting, locality preservation, and general multimodal utility. We hope PRMU can facilitate future research toward realistic and scalable multimodal machine unlearning. Code and dataset will be released at https://github.com/2231122/PRMU.