대규모 언어 모델에서 암기(Memorization)와 일반화(Generalization)를 효율적으로 구별하는 사전 지식 기반 메트릭

A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models

대규모 언어 모델(LLM)에서의 학습 데이터 유출은 개인 정보 보호, 보안 및 저작권 준수와 관련된 심각한 문제를 야기합니다. 이러한 위험을 평가하는 데 있어 핵심적인 과제는 학습 데이터를 암기하는 현상과 통계적으로 흔히 나타나는 시퀀스를 생성하는 현상을 구별하는 것입니다. 기존의 암기 측정 방법은 종종 이 두 가지 현상을 혼동하여, 일반적인 패턴에 대한 일반화에서 비롯된 결과도 암기로 잘못 분류하는 경우가 있습니다. 반사실적 암기(counterfactual memorization) 및 관련 메트릭 extit{citep{zhang2023counterfactual, wang2025generalization, lesci2024causal}}은 이러한 문제에 대한 체계적인 해결책을 제공하지만, 여러 개의 기준 모델 재학습이나 학습 데이터를 분석해야 하므로 계산 비용이 매우 높아 대규모 환경에서 적용하기 어렵습니다. 본 연구에서는 이론적으로 기반하고, 가볍고, 학습 과정 없이 LLM에서 접두사(prefix) 특정 암기를 식별할 수 있는 기준인 extit{사전 지식 기반 암기(Prior-Aware memorization)}를 제안합니다. 핵심 아이디어는 후보 서픽스(suffix)가 특정 학습 접두사와 강하게 연관되어 있는지, 아니면 학습 데이터 분포에서 추출된 다양한 독립적이고 동일한 분포(IID) 시퀀스에서 높은 확률로 나타나는지 여부를 평가하는 것입니다. 저희는 제안하는 메트릭을 반사실적 암기와 비교하고, LLaMA 및 OPT라는 두 개의 사전 훈련 모델의 학습 코퍼스에 대해 실험했습니다. 그 결과, 이전에 암기로 분류된 시퀀스의 55%에서 90%가 저희 기준을 충족하지 못했으며, 이는 통계적인 일반성으로 설명될 수 있음을 확인했습니다.

Training data leakage from Large Language Models (LLMs) raises serious concerns related to privacy, security, and copyright compliance. A central challenge in assessing this risk is distinguishing prefix-specific memorization of training data from the generation of statistically common sequences. Existing approaches to measuring memorization often conflate these phenomena, labeling outputs as memorized even when they arise from generalization over common patterns. Counterfactual memorization and other related metrics \citep{zhang2023counterfactual, wang2025generalization, lesci2024causal} provide principled solutions, however, their reliance on retraining multiple baseline models or parsing through the training data makes them computationally impractical at scale. This work introduces \emph{Prior-Aware memorization}, a theoretically grounded, lightweight and training-free criterion for identifying prefix-specific memorization in LLMs. The key idea is to evaluate whether a candidate suffix is strongly associated with its specific training prefix or whether it appears with high probability across many IID sampled sequences from the training data distribution due to statistical commonality. We correlate our metric with counterfactual memorization, and also evaluate it on the training corpora of two pre-trained models, LLaMA and OPT. Our results show that between 55\% and 90\% of sequences previously labeled as memorized fail our criterion and are consistent with statistical commonality