LoRA는 어떻게 기억하는가? LLM 미세 조정을 위한 매개변수 기반 기억 법칙

How LoRA Remembers? A Parametric Memory Law for LLM Finetuning

대규모 언어 모델(LLM)은 동적인 실제 환경에서 효과적으로 작동하기 위해 지속적으로 학습하고 지식을 업데이트해야 합니다. 로우 랭크 어댑테이션(LoRA)은 이러한 기억 업데이트에 널리 사용되지만, 기존 연구는 주로 질적 다운스트림 평가에 의존하며, 정확한 매개변수 기반 기억의 정량적인 용량 제한 및 근본적인 동역학은 거의 탐구되지 않았습니다. 이 격차를 해소하기 위해, 우리는 LoRA를 잠재 공간 내에서 제어된 기억 용량 측정 도구로 활용하여 정확한 매개변수 기반 기억을 체계적으로 정량화합니다. 우리는 손실 감소(Delta L)와 유효 매개변수 및 시퀀스 길이를 연결하는 강력한 거듭제곱 법칙인 '매개변수 기반 기억 법칙'을 소개합니다. 토큰 수준의 세분화된 분석은 결정적인 상전이를 보여주며, 탐욕적 디코딩 하에서 예측 확률 p > 0.5가 완전한 회상을 위한 충분 조건임을 입증합니다. 이러한 통찰력을 바탕으로, 우리는 임계값 기반 최적화 전략인 MemFT를 도입하여 학습 예산을 역임계 토큰에 동적으로 재분배합니다. 실험 결과는 MemFT가 기억의 충실도와 효율성을 향상시킬 수 있음을 보여줍니다. 코드는 https://github.com/zjunlp/ParametricMemoryLaw 에서 공개될 예정입니다.

Large Language Models (LLMs) must continuously learn and update knowledge to remain effective in dynamic real-world environments. While Low-Rank Adaptation (LoRA) is widely used for such memory updates, existing studies mainly rely on qualitative downstream evaluations, leaving the quantitative capacity limits and underlying dynamics of exact parametric memory largely unexplored. To bridge this gap, we employ LoRA as a controlled memory capacity probe within the latent space to systematically quantify exact parametric memory. We introduce the Parametric Memory Law, a robust power law linking loss reduction Delta L to effective parameters and sequence length. At the token level, fine-grained analysis reveals a deterministic phase transition, demonstrating that a prediction probability of p > 0.5 constitutes a sufficient condition for verbatim recall under greedy decoding. Driven by these insights, we introduce MemFT, a threshold-guided optimization strategy that dynamically redistributes the training budget toward sub-threshold tokens. Empirical evaluations demonstrate that MemFT can enhance memory fidelity and efficiency. Code will be released at https://github.com/zjunlp/ParametricMemoryLaw.