불균형 데이터 환경에서의 학습 제거: 다중 모드 대규모 언어 모델(MLLM) 학습 제거 성능 평가

Unlearning Under Imbalance: Benchmarking Fairness in Multimodal LLM Unlearning

머신 러닝 모델에서 개인 데이터를 제거하여 최신 AI 규정을 준수하는 기술인 학습 제거는 중요한 도구로 부상했습니다. 다중 모드 대규모 언어 모델(MLLM)에서의 학습 제거 효과를 평가하기 위해 기존 연구에서는 가상의 ID를 사용하여 모델을 미세 조정하고, 이러한 ID의 부분집합에 대한 학습 제거 요청을 시뮬레이션합니다. 일반적으로 이러한 ID는 균등하게 분포되어 있습니다. 그러나 현실적인 시나리오에서는 서로 다른 인구 통계 집단에서 다양한 비율로 학습 제거를 요청할 수 있으며, 이는 해당 그룹에 대한 모델의 내부적 신념을 변경하고 편향된 행동으로 이어질 수 있습니다. 이러한 격차를 해소하기 위해, 우리는 FAIRGET이라는 최초의 시각 질의 응답 벤치마크를 제안합니다. FAIRGET은 불균형하고 현실적인 학습 제거 요청 하에서의 성능을 평가합니다. 이러한 요청은 단순한 설정부터 어려운 설정까지 다양한 현실적인 시나리오를 모방하며, 공정성이 고려되지 않으면 편향된 학습 제거 결과를 초래할 수 있습니다. 또한, 우리는 MLLM에 대한 최초의 학습 제거 알고리즘인 FAUN을 제안합니다. FAUN은 모델의 공정성을 유지하면서 학습 제거 데이터를 삭제하는 것을 목표로 합니다. FAUN은 편향 인식을 기반으로 하는 활성화 조절 메커니즘을 활용하여 학습 제거 데이터의 불균형적인 특성을 고려하면서 ID를 제거합니다. FAIRGET과 기존의 FIUBench에 대한 실험 결과는 저희 방법이 학습 제거 품질 및 공정성 측면에서 모두 우수함을 입증합니다.

Machine unlearning has emerged as a tool for removing personal data from trained models to comply with recent AI regulations. To evaluate unlearning effectiveness in multimodal large language models (MLLMs), prior works fine-tune models on fictitious identities, simulating unlearning requests on subsets of these IDs, which are typically uniformly distributed. However, in realistic scenarios, people from different demographic groups may request to be unlearned at different frequencies, potentially altering the model's internal beliefs for these groups and leading to biased behaviors. To fill this gap, we propose FAIRGET, the first Visual Question Answering benchmark that evaluates unlearning under unbalanced, realistic, forget requests. These requests are designed to simulate multiple realistic scenarios, ranging from simple to challenging settings, that lead to biased unlearned models if fairness is not accounted for. Additionally, we propose FAUN, the first unlearning algorithm for MLLMs that forgets unlearning data while preserving model fairness. FAUN exploits a bias-aware activation steering mechanism to unlearn identities while accounting for the unbalanced nature of the forget data. Experiments on FAIRGET and the established FIUBench demonstrate our method's superiority both in unlearning quality and fairness.