대규모 언어 모델 미세 조정 시 암기된 지식이 일반화에 실패하는 메커니즘적 원인 연구

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

대규모 언어 모델(LLM)을 미세 조정하여 새로운 지식을 주입하는 과정에서 중요한 문제가 발생합니다. LLM은 새로운 사실을 빠르게 암기하지만, 이를 활용하여 downstream 추론 작업을 수행하지 못하는 경우가 많습니다. 우리는 이러한 현상을 '암기와 활용 간의 격차(Knowing--Using Gap)'라고 정의하며, 이는 정확도 차이와 암기와 일반화 사이의 시간 지연으로 특징지어집니다. 이 현상의 원인을 파악하기 위해, 우리는 LLM을 새로운 지식을 사용하여 미세 조정하고, 독창적인 '자기 패치(self-patching)' 기법을 통해 내부적으로 지식이 어떻게 확산되는지 분석합니다. 자기 패치는 일반화에 실패하는 경우의 활성화 위치를 식별하며, 표현 방식을 재배치하여 성능을 향상시킵니다. 이러한 결과는 '지식 회로 불일치 가설'과 일관성을 보입니다. 즉, 암기된 표현이 내부적으로 존재할 수 있지만, 계산 효율적인 레이어로 연결되지 않을 수 있다는 것입니다. 이 진단 결과를 바탕으로, 우리는 일반화 실패를 개선하는 간단한 휴리스틱 전략을 설계했으며, 이를 통해 오라클 성능의 58~75%를 회복할 수 있었습니다. 이러한 결과는 다양한 도메인에서 실험하여 그 견고성을 검증했습니다.

Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textit{\textbf{Knowing--Using Gap}}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.