모델은 동의했지만 학습하지 못했다: 거대 언어 모델의 표면적 준응 현상 진단

The Model Agreed, But Didn't Learn: Diagnosing Surface Compliance in Large Language Models

거대 언어 모델(LLM)은 방대한 세계 지식을 매개변수 메모리로 내재하지만, 불가피하게 원본 데이터의 노후성과 오류를 상속합니다. 따라서 이러한 내부 표현의 신뢰성과 유연성을 확보하는 것은 실제 환경에서의 안전한 활용을 위해 매우 중요합니다. 지식 편집은 재학습 없이 메모리를 수술적으로 수정하는 핵심적인 방법입니다. 그러나 최근의 편집 기술이 표준 벤치마크에서 높은 성공률을 보이지만, 특정 프롬프트 조건 하에서 출력 결과를 평가하는 현재의 평가 프레임워크가 진정한 메모리 수정 여부를 신뢰성 있게 판단할 수 있는지에 대한 의문이 남아 있습니다. 본 연구에서는 실제 응용 환경을 더 잘 반영하는, 특히 메모리 수정으로 인해 발생하는 미묘한 행동 변화를 분석하도록 설계된, 컨텍스트 내 학습(ICL) 환경에서의 모델의 차별화된 자기 평가를 수행하는 간단한 진단 프레임워크를 소개합니다. 이 분석 결과, '표면적 준응(Surface Compliance)'이라는 광범위한 현상이 드러났습니다. 즉, 편집 기술은 내부적인 신념을 재구성하지 않고 단순히 목표 출력 결과를 모방하여 높은 벤치마크 점수를 달성합니다. 또한, 재귀적인 수정 과정에서 표현 잔류물이 축적되어 인지적 불안정을 유발하고 모델의 메모리 상태의 되돌릴 수 없는 변화를 초래한다는 것을 확인했습니다. 이러한 결과는 현재의 편집 방식이 가진 위험성을 강조하며, 신뢰할 수 있고 지속 가능한 LLM 시스템을 구축하기 위한 강력한 메모리 수정 기술의 중요성을 보여줍니다. 관련 코드는 https://github.com/XiaojieGu/SA-MCQ 에서 확인할 수 있습니다.

Large Language Models (LLMs) internalize vast world knowledge as parametric memory, yet inevitably inherit the staleness and errors of their source corpora. Consequently, ensuring the reliability and malleability of these internal representations is imperative for trustworthy real-world deployment. Knowledge editing offers a pivotal paradigm for surgically modifying memory without retraining. However, while recent editors demonstrate high success rates on standard benchmarks, it remains questionable whether current evaluation frameworks that rely on assessing output under specific prompting conditions can reliably authenticate genuine memory modification. In this work, we introduce a simple diagnostic framework that subjects models to discriminative self-assessment under in-context learning (ICL) settings that better reflect real-world application environments, specifically designed to scrutinize the subtle behavioral nuances induced by memory modifications. This probing reveals a pervasive phenomenon of Surface Compliance, where editors achieve high benchmark scores by merely mimicking target outputs without structurally overwriting internal beliefs. Moreover, we find that recursive modifications accumulate representational residues, triggering cognitive instability and permanently diminishing the reversibility of the model's memory state. These insights underscore the risks of current editing paradigms and highlight the pivotal role of robust memory modification in building trustworthy, long-term sustainable LLM systems. Code is available at https://github.com/XiaojieGu/SA-MCQ.