MuonRec: 확장 가능한 생성형 추천 시스템에서 Adam을 넘어선 최적화 패러다임 전환

MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation

추천 시스템(RecSys)은 개인화 수준을 향상시키기 위해 더 큰 구조와 더 많은 상호 작용 데이터를 활용하여 확장성을 점점 더 중요하게 고려하고 있습니다. 그러나 최적화기는 훈련에서 중요한 역할을 수행함에도 불구하고, 현대적인 RecSys 파이프라인은 거의 예외 없이 Adam/AdamW를 사용하며, 이러한 선택이 추천에 실제로 최적인지 여부에 대한 충분한 검토가 이루어지지 않고 있습니다. 본 연구에서는 확장 가능한 추천을 위한 최적화 설계에 대해 다시 살펴보고, 최근에 제안된 Muon 최적화기를 RecSys 훈련에 적용한 최초의 프레임워크인 MuonRec을 소개합니다. Muon은 뉴턴-슐츠 반복을 통해 2차원 가중치 행렬에 대해 직교화된 모멘텀 업데이트를 수행하여 다양한 업데이트 방향을 촉진하고 최적화 효율성을 향상시킵니다. 우리는 추천 모델을 위한 오픈 소스 훈련 레시피를 개발하고, 기존의 순차적 추천 시스템과 최신 생성형 추천 시스템 모두에서 이를 평가했습니다. 광범위한 실험 결과, MuonRec은 평균적으로 32.4% 더 적은 훈련 단계를 사용하여 수렴하며, 동시에 최종 순위 품질을 향상시키는 것으로 나타났습니다. 특히, MuonRec은 모든 설정에서 평균 12.6%의 NDCG@10 상대적 성능 향상을 보였으며, 특히 생성형 추천 모델에서 두드러진 개선 효과를 보였습니다. 이러한 결과는 강력한 Adam/AdamW 기준 성능을 지속적으로 능가하며, Muon을 RecSys 훈련을 위한 유망한 새로운 최적화 표준으로 자리매김하게 합니다. 저희의 코드는 공개되어 있습니다.

Recommender systems (RecSys) are increasingly emphasizing scaling, leveraging larger architectures and more interaction data to improve personalization. Yet, despite the optimizer's pivotal role in training, modern RecSys pipelines almost universally default to Adam/AdamW, with limited scrutiny of whether these choices are truly optimal for recommendation. In this work, we revisit optimizer design for scalable recommendation and introduce MuonRec, the first framework that brings the recently proposed Muon optimizer to RecSys training. Muon performs orthogonalized momentum updates for 2D weight matrices via Newton-Schulz iteration, promoting diverse update directions and improving optimization efficiency. We develop an open-source training recipe for recommendation models and evaluate it across both traditional sequential recommenders and modern generative recommenders. Extensive experiments demonstrate that MuonRec reduces converged training steps by an average of 32.4\% while simultaneously improving final ranking quality. Specifically, MuonRec yields consistent relative gains in NDCG@10, averaging 12.6\% across all settings, with particularly pronounced improvements in generative recommendation models. These results consistently outperform strong Adam/AdamW baselines, positioning Muon as a promising new optimizer standard for RecSys training. Our code is available.