MLLM (다중 모드 대규모 언어 모델) 역학습을 위한 Null Space 제약 기반 대비 학습 시각 정보 소거

Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning

머신 러닝 역학습의 핵심 과제는 목표 지식 제거와 비-목표 지식 유지 간의 균형을 맞추는 것입니다. 다중 모드 대규모 언어 모델(MLLM)의 맥락에서, 이 과제는 지식이 시각 및 텍스트 모달리티로 더욱 세분화되어 밀접하게 연결되어 있기 때문에 더욱 심화됩니다. 본 논문에서는 목표 시각 지식은 소거하고 비-목표 시각 지식과 모든 텍스트 지식은 유지하는 MLLM 역학습 방법을 제안합니다. 구체적으로, LLM의 핵심 부분은 고정하고, 시각 모듈을 미세 조정하여 역학습을 수행합니다. 첫째, 목표 시각 지식과 유지되는 시각 지식을 분리하기 위한 대비 학습(Contrastive Visual Forgetting, CVF) 메커니즘을 제안하여, 목표 시각 개념의 표현을 특징 공간 내 적절한 영역으로 안내합니다. 둘째, 유지되는 지식과 관련된 null space를 식별하고, 역학습 과정을 이 공간 내에서 제한함으로써 지식 유지 성능의 저하를 크게 완화합니다. 셋째, 정적인 역학습 시나리오를 넘어, 순차적으로 역학습 요청이 발생하는 연속적인 역학습 환경으로 접근 방식을 확장합니다. 다양한 벤치마크에서의 광범위한 실험 결과는 제안된 방법이 효과적인 지식 소거와 강력한 지식 유지 간의 균형을 잘 맞춘다는 것을 보여줍니다.

The core challenge of machine unlearning is to strike a balance between target knowledge removal and non-target knowledge retention. In the context of Multimodal Large Language Models (MLLMs), this challenge becomes even more pronounced, as knowledge is further divided into visual and textual modalities that are tightly intertwined. In this paper, we introduce an MLLM unlearning approach that aims to forget target visual knowledge while preserving non-target visual knowledge and all textual knowledge. Specifically, we freeze the LLM backbone and achieve unlearning by fine-tuning the visual module. First, we propose a Contrastive Visual Forgetting (CVF) mechanism to separate target visual knowledge from retained visual knowledge, guiding the representations of target visual concepts toward appropriate regions in the feature space. Second, we identify the null space associated with retained knowledge and constrain the unlearning process within this space, thereby significantly mitigating degradation in knowledge retention. Third, beyond static unlearning scenarios, we extend our approach to continual unlearning, where forgetting requests arrive sequentially. Extensive experiments across diverse benchmarks demonstrate that our approach achieves a strong balance between effective forgetting and robust knowledge retention.