SVD 기반 LoRA를 활용한 연속적인 머신 러닝 모델 삭제를 위한 직교 부분 공간 투영

Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA

연속적인 머신 러닝 모델 삭제는 더 이상 유지할 필요가 없는 데이터의 영향을 제거하는 것을 목표로 하지만, 모델의 유용성을 다른 모든 부분에서 유지해야 합니다. 삭제 요청이 순차적으로 들어오는 경우, 모델은 이전의 유지된 지식을 지우지 않고 반복적으로 적응해야 하므로 이 설정은 특히 어렵습니다. Low-Rank Adaptation (LoRA)은 이러한 업데이트를 효율적으로 구현하는 방법을 제공하지만, 여러 개의 순차적인 LoRA 모듈을 단순히 결합하면 파라미터 충돌이 발생하여 작업 간에 *강한 간섭*을 일으킵니다. 우리는 Singular Value Decomposition (SVD) 기반의 직교 부분 공간 투영을 활용한 정적 대안을 제안합니다. 우리의 방법은 훈련 중에 각 새로운 LoRA 업데이트가 이전 삭제 작업에 사용된 부분 공간의 직교 여 공간에 포함되도록 제한합니다. 이를 통해 동적 라우팅 없이도 작업 간의 격리를 유지할 수 있습니다. ResNet-20을 사용한 CIFAR-100 데이터셋과 MNIST 데이터셋에 대한 실험 결과, 장기간의 연속적인 삭제 작업에서도 안정적인 성능을 보였습니다. 서른 번의 연속적인 삭제 작업 후, 최첨단 정적 융합 방식은 유지된 정확도를 60.39%에서 12.70%로 감소시키는 반면, 제안하는 훈련 중 제약 최적화 방식은 기본 성능(약 58.1%)을 유지하면서 강력한 삭제 효과를 유지합니다.

Continual machine unlearning aims to remove the influence of data that should no longer be retained, while preserving the usefulness of the model on everything else. This setting becomes especially difficult when deletion requests arrive sequentially, because the model must repeatedly adapt without erasing previously retained knowledge. Low-Rank Adaptation (LoRA) offers an efficient way to implement such updates, but naively combining many sequential LoRA modules leads to parameter collision, causing \textit{strong interference} between tasks. We propose a static alternative based on Singular Value Decomposition (SVD)-guided orthogonal subspace projection. Our method constrains each new LoRA update during training so that it lies in the orthogonal complement of the subspaces used by earlier unlearning tasks. This preserves task isolation without requiring dynamic routing at deployment. Experiments on CIFAR-100 with ResNet-20 and on MNIST show stable behavior across long sequences of unlearning tasks. After thirty sequential unlearning tasks, state-of-the-art static fusion reduces retained accuracy from 60.39\% to 12.70\%, whereas the proposed in-training constrained optimization maintains baseline performance ($\sim$58.1\%) while preserving strong unlearning efficacy.