Truncated SVD 레이어를 활용한 효율적인 LLM 사전 학습

Efficient Pre-Training of LLMs through Truncated SVD Layers

대규모 언어 모델(LLM)의 지속적인 확대로 인해 사전 학습에 필요한 비용이 급격히 증가하고 있습니다. 저차원 표현 및 직교 행렬은 이론적으로 파라미터 수와 계산량을 줄일 수 있지만, 대부분의 기존 방법은 정적 랭크 선택을 사용하며 높은 계산 비용으로 인해 가중치의 직교성을 강제하지 않습니다. 본 논문에서는 TSVD라는 프레임워크를 제안합니다. TSVD는 학습 과정 전반에 걸쳐 저차원을 유지하고 엄격한 직교성을 보장합니다. 이는 스펙트럴 에너지 기반 휴리스틱을 사용하여 랭크를 적응적으로 선택하며, 캐싱 메커니즘을 통해 직교성을 유지합니다. 이론적 분석은 본 접근 방식이 사전 학습 과정에서 이점을 제공한다는 것을 뒷받침하며, 다양한 모델 크기에 대한 실험 결과는 실제적인 효과를 입증합니다. TSVD는 전체 파라미터를 사용하는 기준 모델과 동등하거나 더 나은 성능을 보이면서도 계산 요구 사항을 크게 줄입니다. 따라서 TSVD는 효율적이고 고성능 LLM 사전 학습을 위한 실용적이며 확장 가능한 방법을 제공합니다.

The massive scaling of Large Language Models (LLMs) has made pretraining increasingly cost-prohibitive. While low-rank representation and orthonormal weight matrices could in principle reduce parameter counts and computational overhead, most existing methods rely on static rank selection and do not enforce weight orthonormality due to high computational cost. This paper introduces TSVD, a framework that maintains low rank and strict orthonormality throughout the training process. It utilizes a spectral energy-based heuristic for adaptive rank selection, and a caching mechanisms to maintain orthonormality. Theoretical analysis justifies the advantage of the approach in pretraining dynamics and experiments across various model scales demonstrate that it is effective empirically. TSVD matches or exceeds the performance of full-parameter baselines while significantly reducing compute requirements. The approach thus offers a well-founded, practical, and scalable path toward efficient high-performance LLM pretraining.