사실 덮어쓰기에서 지식 진화로: 온-정책 자기 증류를 통한 인과적 편집

From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation

지식 편집(KE)은 효율적인 업데이트를 가능하게 하지만, 현재 주된 방식인 정적 사실 덮어쓰기는 LLM을 개별 데이터베이스로 취급하며, 고립된 사실을 강제로 주입합니다. 이는 사전 학습된 논리적 구조를 파괴하고, '인지적 불일치'라는 병리를 유발합니다. 즉, 기존의 정보가 새로운 업데이트와 충돌하여 모델이 명시적으로 해당 업데이트를 부정하도록 만듭니다. 이상적인 실험 결과는 이것이 단순한 알고리즘 노이즈가 아닌 근본적인 구조적 결함임을 보여주며, 왜곡 없는 프록시는 95.6%에 달하는 높은 자기 반박률을 나타냅니다. 현실 세계의 지식은 인과 관계에 의해 결정되므로, 업데이트를 명시적인 인과적 서술에 기반하도록 하면 이러한 충돌 비율을 6.6%로 크게 낮출 수 있습니다. 이는 지식 편집 패러다임을 '인과적 편집'으로 전환해야 할 필요성을 강조합니다. 이 진화를 내부화하기 위해, 우리는 CODE(Causal On-policy Distillation for Editing)를 제안합니다. CODE는 인과적 부트스트래핑과 비대칭 온-정책 증류를 결합하여 인과적 전이 논리를 파라미터 메모리에 직접 새깁니다. LLaMA-3.1 및 Qwen-2.5에 대한 실험 결과, CODE는 자기 반박률을 1.8%로 크게 감소시키면서도 뛰어난 다중 단계 정확도(최대 83.5%)를 유지하며, 개별 사실 주입 방식을 일관성 있는 지식 진화로 원활하게 전환합니다. CODE 코드는 https://github.com/CrashBugger/CODE에서 확인할 수 있습니다.

While Knowledge Editing (KE) enables efficient updates, its dominant Static Fact Overwriting paradigm treats LLMs as discrete databases, forcibly injecting isolated facts. Fracturing pre-trained logical topologies, this triggers Epistemic Dissonance -- a pathology where un-evolved legacy priors force the model to explicitly negate the injected update. Idealized interventions reveal that this is an inherent structural flaw rather than mere algorithmic noise, with a zero-distortion proxy yielding a catastrophic 95.6% self-refutation rate. Given the causally driven nature of real-world knowledge, grounding updates in explicit causal narratives effectively collapses this conflict rate to just 6.6%, underscoring the imperative for a paradigm shift toward Causal Editing. To internalize this evolution, we propose CODE (Causal On-policy Distillation for Editing). By coupling causal bootstrapping with asymmetric on-policy distillation, CODE engraves causal transition logic directly into parametric memory. Experiments on LLaMA-3.1 and Qwen-2.5 show CODE drastically suppresses self-refutation to 1.8% while securing robust multi-hop accuracy (up to 83.5%), seamlessly transforming discrete fact injection into coherent knowledge evolution. Code is available at https://github.com/CrashBugger/CODE.