MLUBench: 멀티모달 대규모 언어 모델(MLLM)의 지속적인 학습 삭제 평가를 위한 벤치마크

MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

멀티모달 대규모 언어 모델(MLLM)은 방대한 양의 멀티모달 데이터로 학습되므로, 데이터 소유자가 특정 콘텐츠의 삭제를 요청하는 경우 데이터 삭제 기술이 점점 더 중요해지고 있습니다. 실제로 이러한 요청은 종종 시간이 지남에 따라 순차적으로 발생하며, 이는 MLLM의 지속적인 학습 삭제라는 어려운 문제를 야기합니다. 그러나 대부분의 기존 벤치마크는 규모와 범위가 제한되어 있으며, MLLM의 지속적인 학습 삭제의 복잡성을 제대로 반영하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 9개의 클래스에 속하는 127개의 엔티티를 포함하며, 지속적인 학습 삭제 요청을 특징으로 하는 대규모 종합 벤치마크인 MLUBench를 소개합니다. 우리는 MLUBench를 사용하여 광범위한 실험을 수행했으며, 기존의 학습 삭제 방법이 심각하고 누적적인 성능 저하를 야기한다는 것을 확인했습니다. 더욱 중요하게는, 우리는 이 문제의 고유한 어려움을 발견했습니다. 단일 모달 모델과 달리, MLLM의 지속적인 학습 삭제는 멀티모달 정렬을 유지해야 하는 제약 조건 때문에 더욱 복잡합니다. 하나의 모달에서 지속적으로 학습을 삭제하면 전체 모델의 성능이 저하될 수 있습니다. 이러한 문제를 완화하기 위해, 우리는 효과적인 방법인 LUMoE를 제안합니다. 실험 결과, LUMoE는 기존 방법들이 겪는 성능 저하 문제를 크게 완화한다는 것을 보여줍니다. 소스 코드와 MLUBench 데이터셋은 https://github.com/lihe-maxsize/Lifelong_Unlearning_main 에서 공개되어 있습니다.

Multimodal large language models (MLLMs) are trained on massive multimodal data, making data unlearning increasingly important as data owners may request the removal of specific content. In practice, these requests often arrive sequentially over time, giving rise to the challenging problem of MLLM Lifelong Unlearning. However, most existing benchmarks are limited in scale and scope, failing to capture the complexities of MLLM lifelong unlearning. To fill this gap, we introduce the MLUBench, a large-scale and comprehensive benchmark featuring 127 entities across 9 classes under lifelong unlearning requests. We perform extensive experiments using MLUBench and reveal that existing unlearning methods suffer from severe, cumulative degradation. More critically, we further identify the unique challenge of this problem: unlike in unimodal models, MLLM lifelong unlearning is constrained by the need to preserve multimodal alignment. Continually unlearning from one modality could degrade the entire model. To alleviate this challenge, we propose LUMoE, an effective method. Experiments demonstrate that LUMoE significantly mitigates the degradation problem faced by baselines. The source code and the MLUBench dataset are open-sourced in https://github.com/lihe-maxsize/Lifelong_Unlearning_main.