미해결 과제: AdamW는 두꺼운 꼬리 분포의 노이즈 환경에서 효과적인가?

Open Problem: Is AdamW Effective Under Heavy-Tailed Noise?

AdamW는 대규모 언어 모델(LLM) 학습을 위한 사실상 표준 최적화 알고리즘이지만, 그 이론적 배경은 주로 유한 분산 영역에 머물러 있습니다. 이는 점점 더 불만스러워지는 부분이며, 경험적 증거는 LLM 사전학습 과정에서 발생하는 확률적 기울기 노이즈가 일반적으로 두꺼운 꼬리 분포를 가진다는 것을 시사합니다. 최근 연구에서는 Lion 및 Muon과 같은 부호 기반 최적화 알고리즘이 날카로운 두꺼운 꼬리 분포 속도를 달성하며, AdaGrad도 두꺼운 꼬리 노이즈 환경에서 수렴할 수 있다는 점을 보여줍니다. 그러나 아직까지 AdamW에 대한 엄격한 수렴 이론은 이 영역에서 확립되지 않았습니다. AdamW는 동일한 두꺼운 꼬리 가정 하에서 수렴할 수 있을까요, 아니면 그 이차 모멘트 누적기가 진정한 장애물을 만드는 것일까요? 우리는 이것을 미해결 과제로 제시하고, 긍정적인 가중치 메트릭 벤치마크를 증명하며, 분모 메모리가 큰 기울기를 숨길 수 있는 방식을 보여주는 하한 경계 메커니즘을 제공합니다.

AdamW is the de facto optimizer for training large language models (LLMs), yet the theory behind it still lives mostly in finite-variance regimes. This is increasingly unsatisfying, as empirical evidence indicates that stochastic gradient noise in LLM pretraining is typically heavy-tailed. Recent work shows that sign-based optimizers such as Lion and Muon achieve sharp heavy-tailed rates, and that AdaGrad can also converge under heavy-tailed noise. However, no rigorous convergence theory for AdamW has yet been established in this regime. Can AdamW converge under the same heavy-tailed assumptions, or does its second-moment accumulator create a genuine obstruction? We formulate this as an open problem, prove a positive weighted-metric benchmark, and give a corridor lower-bound mechanism showing how denominator memory can hide large gradients.