초장기 시퀀스 모델 편집을 향하여

Toward Ultra-Long-Horizon Sequential Model Editing

모델 편집은 대규모 언어 모델(LLM)에서 발생하는 사실 오류 및 오래된 지식을 완화하는 실용적인 접근 방식으로 부상했습니다. 기존 방법 중, Locate-and-Edit (L&E) 패러다임이 지배적인 프레임워크입니다. L&E는 특정 사실을 표현하는 데 관련된 MLP 파라미터를 찾아내고, 해당 사실을 재작성하기 위해 국소적인 업데이트를 수행합니다. 그러나, 장기적인 편집 시퀀스는 L&E에서 특정 지점을 넘어서면 모델의 급격한 성능 저하를 유발하는 경우가 많습니다. 우리는 실험적으로 편집된 MLP 가중치의 규범(norm)이 급격하게 증가하는 현상과 성능 저하 간의 강한 상관관계를 확인했으며, 명시적인 규범 제어가 없는 경우, 일반적으로 사용되는 L&E 업데이트 규칙이 순차적인 편집 과정에서 지수적인 규범 증가를 유발할 수 있음을 수학적으로 증명했습니다. 이러한 문제를 해결하기 위해, 우리는 Norm-Anchor Scaling NAS라는 플러그 앤 플레이 방식의 규범 제약 전략을 제안합니다. 광범위한 실험 결과, NAS는 대표적인 L&E 알고리즘의 성능 저하 지연 시간을 4배 이상 늘리고, 평균적으로 편집 성능을 72.2% 향상시켰습니다. NAS는 단 한 줄의 추가 코드로 구현되며, 계산 오버헤드가 미미합니다.

Model editing has emerged as a practical approach for mitigating factual errors and outdated knowledge in large language models (LLMs). Among existing methods, the Locate-and-Edit (L&E) paradigm is the dominant framework: it locates MLP parameters implicated in expressing a target fact, and then performs a localized update to rewrite that fact. However, long sequences of edits often trigger abrupt model collapse in L&E beyond a critical point. We empirically identify a strong correlation between collapse and explosive growth of edited MLP weight norms, and formally prove that commonly used L&E update rules can induce exponential norm growth across sequential edits in the absence of explicit norm control. To address this issue, we propose Norm-Anchor Scaling NAS, a plug-and-play norm-constrained strategy. Across extensive experiments, NAS delays the collapse point of representative L&E algorithms by more than 4 times and yields a 72.2% average relative gain in editing performance, requiring only a single additional line of code and incurring negligible computational overhead.