대규모 언어 모델에서 초기화 값의 중요성

Small Initialization Matters for Large Language Models

대규모 언어 모델은 지능 자체가 어떻게 발생하는지에 대한 연구를 위한 유용한 시스템을 제공하며, 단순히 LLM이 어떻게 설계될 수 있는지에 대한 연구와는 다릅니다. 일반적으로 발전은 규모, 데이터 및 아키텍처에 기인한다고 여겨지지만, 우리는 파라미터 초기화가 훈련 과정, 특히 모델의 성능에 중요한 역할을 하는 유전적 결정 요인이 된다는 것을 보여줍니다. 초기화 값을 줄이면 사전 훈련이 꾸준히 개선되며, 특히 추론 능력을 요구하는 작업에서 가장 큰 효과를 보입니다. 우리는 작은 초기화 값의 장점을 제한하는 두 가지 일반적인 실험 환경을 식별하고, 이러한 제약을 완화하면 유리한 성능 향상이 회복되는 것을 보여줍니다. 또한, 훈련과 추론 사이의 균형을 이루는 중요한 초기화 값을 발견했습니다. 메커니즘적으로, 작은 초기화 값은 독특한 발달 경로를 유도합니다. 파라미터는 먼저 단순한 구조로 응축된 다음, 더 풍부한 표현으로 확장되어 압축이 지능이라는 개념에 구체적인 형태를 제공합니다. 토큰 수준의 분석 결과, 개선 효과는 모든 토큰에 균등하게 적용되는 것이 아니라, 복잡하고 맥락 제약적인 예측에서 주로 나타납니다. 이러한 결과는 간단한 γ-초기화 규칙을 제시하며, 초기화 범위를 명시적으로 조절 가능한 변수로 설정하고 기본적으로 작은 초기화 값을 사용하는 방법을 제안합니다. 이는 거의 비용이 들지 않으면서 사전 훈련을 개선하고 다양한 모델 규모에서 추론 능력을 강화하는 효과적인 방법입니다.

Large language models provide a tractable system for asking how intelligence itself emerges, rather than only how LLMs can be engineered. Although progress is usually attributed to scale, data and architecture, we show that parameter initialization is a gene-like determinant of training and, in particular, of model capacity. Reducing the initialization scale consistently improves pretraining, with the largest gains on reasoning-demanding tasks. We identify two widely used empirical settings that restrain the advantage of small initialization, and show how relaxing them restores favorable scaling. We further uncover a critical initialization that balances the reasoning and training. Mechanistically, small initialization drives a distinct developmental trajectory: parameters first condense into low-complexity structures and later expand into richer representations, giving concrete form to the idea that compression is intelligence. Token-level analyses show that the gains concentrate on non-trivial, context-constrained predictions rather than all tokens uniformly. These results motivate a simple $γ$-initialization rule: expose initialization rage as an explicit knob and use small initialization by default, an almost cost-free intervention that improves pretraining and strengthens reasoning across model scales.