부채로서의 안정성: LLM에서 언어 구조의 체계적 붕괴

Stability as a Liability:Systematic Breakdown of Linguistic Structure in LLMs

학습 안정성은 일반적으로 대규모 언어 모델의 신뢰할 수 있는 최적화를 위한 전제 조건으로 간주됩니다. 본 연구에서는 학습 역학을 안정화하는 것이 유도된 생성 분포에 어떤 영향을 미치는지 분석합니다. 표준 최대 우도 학습 하에서 안정적인 파라미터 궤적은 정적 솔루션이 경험적 분포에 대한 순방향 KL 발산을 근사적으로 최소화하도록 이끄는 동시에, 암묵적으로 생성 엔트로피를 감소시킨다는 것을 보여줍니다. 그 결과, 학습된 모델은 원활한 손실 수렴에도 불구하고 체계적인 퇴화 현상을 보이며, 확률 질량을 경험적 모드의 제한된 부분집합에 집중시킬 수 있습니다. 우리는 내부 생성 통계를 안정화하는 통제된 피드백 기반 학습 프레임워크를 사용하여 이 효과를 실증적으로 검증하였으며, 다양한 아키텍처와 무작위 시드 전반에 걸쳐 일관되게 낮은 엔트로피 출력과 반복적인 행동을 관찰했습니다. 이는 최적화 안정성과 생성적 표현력이 본질적으로 정렬되지 않으며, 안정성만으로는 생성 품질의 지표로 불충분함을 시사합니다.

Training stability is typically regarded as a prerequisite for reliable optimization in large language models. In this work, we analyze how stabilizing training dynamics affects the induced generation distribution. We show that under standard maximum likelihood training, stable parameter trajectories lead stationary solutions to approximately minimize the forward KL divergence to the empirical distribution, while implicitly reducing generative entropy. As a consequence, the learned model can concentrate probability mass on a limited subset of empirical modes, exhibiting systematic degeneration despite smooth loss convergence. We empirically validate this effect using a controlled feedback-based training framework that stabilizes internal generation statistics, observing consistent low-entropy outputs and repetitive behavior across architectures and random seeds. It indicates that optimization stability and generative expressivity are not inherently aligned, and that stability alone is an insufficient indicator of generative quality.