LLM 학습 해제(Unlearning)를 위한 데이터 파레토 개선: 최적화된 랜덤 반대점 탐색

Randomized Antipodal Search Done Right for Data Pareto Improvement of LLM Unlearning

대규모 언어 모델(LLM)은 종종 원치 않는 정보를 기억하며, 이는 배포 후 제거되어야 합니다. 기존의 머신 러닝 학습 해제 연구는 주로 잊기를 강제하면서도 기억을 유지하는 방식으로 매개변수를 조정하는 최적화 방법에 초점을 맞추었습니다. 그러나 이러한 접근 방식은 잊혀야 할 데이터와 유지해야 할 데이터가 명확하게 구분되어 있다는 전제를 가지고 있는데, 이는 실제로는 거의 발생하지 않습니다. 학습 해제는 일반적으로 추론 과정에서 원치 않는 결과가 발생했을 때 트리거되며, 이 경우 관련 데이터를 검색하는 것이 핵심적인 과제입니다. 본 연구에서는 LLM 학습 해제에 대한 데이터 파레토 개선 개념을 도입하여, 데이터 검색이 잊기와 기억 사이의 달성 가능한 균형 지점을 어떻게 확장할 수 있는지 공식화합니다. 이러한 원리를 구현하기 위해, 순열 투영 해싱과 랜덤 반대점 탐색을 결합한 검색 알고리즘인 Randomized Antipodal Search on Linearized Influence Kernel (RASLIK)을 제안합니다. RASLIK은 선택 편향을 줄이고, 부분 선형 복잡도를 달성하며, 품질과 효율성 모두에서 두 배의 성능 향상을 제공합니다. 다양한 모델, 데이터 세트 및 학습 해제 알고리즘에 걸쳐, RASLIK은 기존의 결정론적 방법과 심지어 최적의 샘플링 방법보다도 일관되게 우수한 성능을 보이며, 데이터 중심 학습 해제를 위한 원칙적이고 확장 가능한 솔루션으로서의 랜덤 탐색의 가능성을 입증합니다.

Large language models (LLMs) sometimes memorize undesirable knowledge, which must be removed after deployment. Prior work on machine unlearning has focused largely on optimization methods that adjust parameters to enforce forgetting while preserving retention. However, these approaches assume that the forget and retain sets are readily available, which rarely holds in practice. Unlearning is typically triggered by an undesired generation at inference time, making the retrieval of relevant data the central challenge. We introduce the notion of data Pareto improvement for LLM unlearning, which formalizes how retrieval can expand the achievable trade-off frontier between forgetting and retention. To realize this principle, we propose Randomized Antipodal Search on Linearized Influence Kernel (RASLIK), a retrieval algorithm that combines permutation-projection hashing with randomized antipodal search. RASLIK reduces selection variance, achieves sublinear complexity, and yields a double gain in both quality and efficiency. Across multiple models, datasets, and unlearning algorithms, RASLIK consistently outperforms deterministic baselines and even oracle sampling, establishing randomized search as a principled and scalable solution for data-centric unlearning.