대규모 언어 모델의 미세 조정에서 인공적인 얽힘 현상

Artificial Entanglement in the Fine-Tuning of Large Language Models

대규모 언어 모델(LLM)은 파라미터 효율적인 미세 조정(PEFT) 방법을 통해 학습 가능한 파라미터의 일부만 수정하여 새로운 작업에 적응할 수 있습니다. 본 연구에서는 이러한 방법의 효과를 이해하기 위해 양자 정보 이론에 기반한 관점을 채택합니다. 이러한 관점에서, 저차원 파라미터화는 자연스럽게 저차원 행렬 곱 상태(MPS) 표현과 상응하며, 이를 통해 파라미터 구조의 얽힘 기반 특징을 파악할 수 있습니다. 따라서 우리는 인공 신경망(특히 LLM)의 파라미터의 얽힘 엔트로피를 "인공적인 얽힘(Artificial Entanglement)"이라고 명명하고 측정합니다. 우리는 먼저 대표적인 저차원 적응(LoRA) PEFT 방법과 전체 미세 조정(FFT) 방법을 LLaMA 모델(1B 및 8B 규모, Tulu3 및 OpenThoughts3 데이터셋으로 학습)을 사용하여 연구하고 다음과 같은 결과를 얻었습니다. (i) LoRA에서 쿼리 및 값 투영 행렬의 업데이트에 나타나는 내부적인 인공 얽힘은 중앙에서 억제되는 볼륨 법칙을 따르며, 이는 하이퍼파라미터에 민감하고 FFT와는 다른 특징을 보입니다. (ii) 어텐션 행렬에 나타나는 외부적인 인공 얽힘은 표현 공간에서의 토큰-토큰 상관관계를 나타내며, 면적 법칙과 로그 보정을 따르고 LoRA의 하이퍼파라미터 및 학습 단계에 강건합니다. 블랙홀 물리학의 "노 헤어 정리(No-Hair Theorem)"와 유사하게, LoRA와 FFT가 서로 다른 내부적인 얽힘 특징을 유도하지만, 이러한 차이가 어텐션 출력에 나타나지 않는다는 점을 발견했습니다. 이는 저차원 업데이트의 효과를 설명하는 "노 헤어" 속성을 시사합니다. 우리는 또한 랜덤 행렬 이론에 기반한 이론적 근거를 제시하고, MPS 적응 PEFT 방법을 분석하여 유사한 경향을 관찰했습니다.

Large language models (LLMs) can be adapted to new tasks using parameter-efficient fine-tuning (PEFT) methods that modify only a small number of trainable parameters, often through low-rank updates. In this work, we adopt a quantum-information-inspired perspective to understand their effectiveness. From this perspective, low-rank parameterizations naturally correspond to low-dimensional Matrix Product States (MPS) representations, which enable entanglement-based characterizations of parameter structure. Thereby, we term and measure "Artificial Entanglement", defined as the entanglement entropy of the parameters in artificial neural networks (in particular the LLMs). We first study the representative low-rank adaptation (LoRA) PEFT method, alongside full fine-tuning (FFT), using LLaMA models at the 1B and 8B scales trained on the Tulu3 and OpenThoughts3 datasets, and uncover: (i) Internal artificial entanglement in the updates of query and value projection matrices in LoRA follows a volume law with a central suppression (termed as the "Entanglement Valley"), which is sensitive to hyper-parameters and is distinct from that in FFT; (ii) External artificial entanglement in attention matrices, corresponding to token-token correlations in representation space, follows an area law with logarithmic corrections and remains robust to LoRA hyper-parameters and training steps. Drawing a parallel to the No-Hair Theorem in black hole physics, we propose that although LoRA and FFT induce distinct internal entanglement signatures, such differences do not manifest in the attention outputs, suggesting a "no-hair" property that results in the effectiveness of low rank updates. We further provide theoretical support based on random matrix theory, and extend our analysis to an MPS Adaptation PEFT method, which exhibits qualitatively similar behaviors.