LoRA에 의해 유발되는 로짓 변화에 대한 형식화: 기술 보고

Formalising the Logit Shift Induced by LoRA: A Technical Note

본 기술 보고에서는 Low-Rank Adaptation (LoRA)에 의해 발생하는 로짓 변화 및 사실 여부 판단 변화에 대한 1차 형식화를 제공합니다. 기본 모델의 궤도 주변에서의 1차 프레셰 근사를 사용하여, 다층 LoRA 효과가 각 레이어의 기여도를 선형적으로 합산한 것과 레이어 간 상호 작용을 나타내는 고차 항의 합으로 분해될 수 있음을 보여줍니다.

This technical note provides a first-order formalisation of the logit shift and fact-margin change induced by Low-Rank Adaptation (LoRA). Using a first-order Fréchet approximation around the base model trajectory, we show that the multi-layer LoRA effect can be decomposed into a linear summation of layerwise contributions and a higher-order remainder term representing inter-layer coupling.