테이퍼형 언어 모델

Tapered Language Models

트랜스포머, 순환 신경망 및 메모리 기반 모델을 포함한 현대적인 언어 모델들은 공통된 구조를 가지고 있습니다: 깊이에 따라 동일한 레이어를 쌓아 파라미터를 균등하게 할당하는 방식입니다. 이는 원래 트랜스포머에서 비롯된 기본 설정으로, 이후에도 큰 변화 없이 유지되어 왔습니다. 그러나 증가하는 연구 결과는 레이어가 최종 출력에 균일하게 기여하지 않으며, 후반 레이어는 잔차 스트림을 변환하기보다는 정제하는 역할을 한다는 것을 시사합니다. 본 연구에서는 파라미터 용량이 이러한 비대칭성을 반영해야 하는지 질문하고, 이를 검증하기 위한 통제된 실험을 수행했습니다. 실험 결과, 고정된 예산 하에서 초반 레이어에 더 많은 용량을 할당하고 후반 레이어에는 덜 할당하면 균일한 폭의 기준 모델보다 성능(퍼플렉서티)이 향상되는 반면, 그 반대의 경우 성능 저하가 발생합니다. 이러한 결과를 바탕으로, 우리는 총 예산 하에서 파라미터를 가진 구성 요소의 폭을 단조적으로 변화시키는 아키텍처 원칙인 '테이퍼형 언어 모델(TLM)'을 제안합니다. 다층 퍼셉트론(MLP)은 이러한 구현에 가장 적합한 부분입니다. MLP는 대부분의 현대적인 언어 모델에서 파라미터 수를 상당 부분 차지하며, 폭을 하나의 명확하고 간단한 변수로 조정할 수 있기 때문입니다. 세 가지 규모의 모델과 네 가지 아키텍처(트랜스포머, 게이티드 어텐션, 호프-어텐션 및 타이탄)에서 MLP의 폭을 부드러운 코사인 스케줄을 사용하여 테이퍼링하면 균일한 기준 모델보다 퍼플렉서티와 다운스트림 벤치마크 성능이 꾸준히 향상되며, 추가적인 파라미터나 계산 비용은 발생하지 않습니다. 이러한 결과는 깊이를 고려한 용량 할당을 언어 모델 설계의 간단하고 아키텍처에 독립적인 방법으로 제시하며, 이는 쉽게 간과될 수 있는 중요한 요소입니다.

Modern language models, including transformer, recurrent, and memory-based variants, share a common chassis: a stack of identical layers in which parameters are allocated uniformly across depth. This is a default inherited from the original transformer and largely unchanged since, yet a growing body of evidence suggests that layers contribute non-uniformly to the final output, with later layers refining the residual stream rather than transforming it. We ask whether parameter capacity should reflect this asymmetry. Our controlled experiment shows that, under a fixed budget, allocating more capacity to earlier layers and less to later layers improves perplexity over a uniform-width baseline, while the reverse allocation hurts. Building on this result, we introduce Tapered Language Models (TLMs), an architectural principle in which a parameter-bearing component is monotonically tapered across depth under a fixed total budget. MLPs are the natural site for this instantiation: they dominate parameter count across all modern LM families and expose width as a single, clean axis of variation. Across three model scales and four architectures (Transformer, Gated Attention, Hope-attention, and Titans), tapering MLP width via a smooth cosine schedule consistently improves perplexity and downstream benchmark performance over uniform baselines, at no additional parameter or compute cost. These findings establish depth-aware capacity allocation as a simple, architecture-agnostic axis of language model design, a free lever hidden in plain sight.