디지털 대사: 재생적 학습을 통한 논리와 사실의 분리 - 순수한 신경망 논리 코어를 향하여

Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core

현재의 거대 언어 모델(LLM)은 매개변수 간의 복잡한 상호 연결 문제로 인해, 일반적인 추론 능력(논리)과 특정 사실 지식(사실)이 공유된 가중치 내에서 중첩된 상태로 존재합니다. 이러한 결합은 "메모리 병목 현상"을 야기하며, 검색 과정을 시뮬레이션하는 데 불필요한 계산 자원을 소모하여 환각 현상을 초래할 수 있습니다. 본 논문에서는 "디지털 대사"라는 열역학적 가설을 제시합니다. 이 가설은 순수한 신경망 논리 코어를 구축하기 위해서는 표적적인 망각 과정이 필요하다고 주장합니다. 이 가설을 검증하기 위해, 우리는 깊은 계층의 기울기 역전 방식을 통해 특정 사실과의 연관성을 선형적으로 해독할 수 없도록 만드는 이중 스트림 훈련 프레임워크인 "재생적 논리 코어 프로토콜(RLCP)"을 제안합니다. Qwen2.5-0.5B 모델에 RLCP를 적용한 결과, 모델은 표적 사실 연관성에 대해 거의 0에 가까운 유지율(정확도 < 7%)을 보이는 동시에, "구조적 결정화"와 일관된 변화를 보였습니다. GSM8K 데이터셋에 대한 실험적 분석 결과, "대사된" 모델은 자발적으로 체인 오브 쏘트(Chain-of-Thought, CoT) 추론 구조를 채택하며, 이는 직접적인 연관 기억 상실을 보완하는 현상으로 해석될 수 있습니다 (O(1) 기억에서 O(N) 추론으로의 전환). 이러한 행동 변화의 인과 관계는 추가적인 연구가 필요하지만, 본 연구 결과는 DeepSeek의 Engram과 같은 구조적 혁신에 대한 역동적인 가중치 수준의 대안을 제시하며, 모듈화된 "신경망 CPU + 심볼릭 RAM" 아키텍처 개발의 기반을 마련합니다.

Large language models (LLMs) currently suffer from parameter entanglement, where general reasoning capabilities (logic) and specific factual knowledge (facts) exist in a superposition state within shared weights. This coupling leads to the "memory wall," where computational capacity is squandered on simulating retrieval, often resulting in hallucinations. In this paper, we propose "digital metabolism," a thermodynamic hypothesis suggesting that targeted forgetting is necessary for distilling a pure neural logic core. To validate this hypothesis, we introduce the Regenerative Logic-Core Protocol (RLCP), a dual-stream training framework that renders specific factual dependencies linearly undecodable via deep-layer gradient reversal. Applying RLCP to Qwen2.5-0.5B, we observe a distinct phase transition: the model achieves near-zero retention of targeted factual associations (Accuracy < 7%) while exhibiting changes consistent with an emergent "structural crystallization" effect. Empirical analysis on GSM8K reveals that the "metabolized" model spontaneously adopts chain-of-thought (CoT) scaffolding, which we interpret as compensating for the loss of direct associative recall (shifting from $O(1)$ recall to $O(N)$ reasoning). While the causal mechanism underlying this behavioral shift requires further investigation, our findings provide a dynamic weight-level counterpart to architectural innovations like DeepSeek's Engram, paving the way for modular "Neural CPU + Symbolic RAM" architectures.