지속적인 멀티모달 거대 언어 모델(MLLM) 학습 삭제를 위한 모델 병합 접근 방식

A Model Merging Approach for Continual MLLM Unlearning

멀티모달 거대 언어 모델(MLLM) 학습 삭제 방법은 잘 훈련된 모델에서 개인 정보, 민감한 정보 또는 독점 정보를 제거하기 위해 제안되었습니다. 그러나 대부분의 기존 MLLM 학습 삭제 방법은 단일 요청에 맞춰 설계되었으며, 지속적인 시나리오에는 적절하게 대응하지 못합니다. 왜냐하면 단일 작업을 반복적으로 적용하면 성능 저하, 학습 내용 재발생, 정보 보존 편향 등의 문제가 누적되기 때문입니다. 본 연구에서는 새로운 학습 삭제 요청을 받을 때마다 여러 개의 단일 작업 학습 삭제 어댑터를 하나의 통합된 어댑터로 동적으로 병합하는 방법인 '지속적인 학습 삭제를 위한 병합(Merging for Continual Unlearning, MCU)'을 소개합니다. Leave-one-out 병합 분석을 통해 이러한 학습 삭제 어댑터가 강한 상호 작업 의존성을 갖는다는 것을 밝혀냈습니다. 이러한 의존성은 교차 작업 학습 삭제의 전이성에 도움이 될 수 있지만, 동시에 학습 효과를 저하시키고 보존된 지식을 손상시키는 심각한 간섭을 유발할 수도 있습니다. 이러한 문제를 해결하기 위해 MCU는 어댑터를 공유 표현 공간으로 투영하고, 주요 방향을 유지하며, 과도하게 집중된 좌표를 억제하고, 상호 작업 의존성을 재구성하여 간섭을 완화하면서 전이성을 향상시킵니다. ICU-Bench 및 MLLMU-Bench에 대한 실험 결과, MCU는 우수한 학습 삭제 효과를 달성하는 동시에 보존된 지식과 일반적인 멀티모달 유용성을 유지함을 보여줍니다.

Multimodal large language model (MLLM) unlearning methods have been proposed to remove private, sensitive, or proprietary information from well-trained models. However, most existing MLLM unlearning methods are designed for one-shot requests and fail to adequately address continual scenarios, as repeatedly applying one-shot operations leads to cumulative utility degradation, unlearning rebound, and retention drift. We introduce Merging for Continual Unlearning (MCU), an approach that dynamically merges multiple one-shot unlearning adapters into a unified adapter upon receiving each new unlearning request.Through a leave-one-out merging analysis, we reveal that these unlearning adapters exhibit strong cross-task dependencies. Such dependencies have two contrasting effects: they can facilitate cross-task unlearning transferability, but they can also introduce severe interference that degrades unlearning effectiveness and compromises retained knowledge. To address this challenge, MCU projects the adapters into a shared representation space, preserves their dominant directions, suppresses over-concentrated coordinates, and reconfigures cross-task dependencies to mitigate interference while enhancing transferability. Experiments on ICU-Bench and MLLMU-Bench demonstrate that MCU achieves superior unlearning effectiveness while preserving both retained knowledge and general multimodal utility.