Ruyi2 기술 보고서

Ruyi2 Technical Report

대규모 언어 모델(LLM)은 배포 비용과 지연 시간 측면에서 상당한 어려움을 겪고 있으며, 이는 적응형 컴퓨팅 전략의 필요성을 야기합니다. 본 연구에서는 AI Flow 프레임워크를 기반으로, 효율적인 가변 깊이 연산을 위한 적응형 모델 시리즈의 진화 버전인 Ruyi2를 소개합니다. 조기 종료(early-exit) 아키텍처는 효율성과 성능 간의 균형을 제공할 수 있지만, Ruyi 모델 및 기존 방법은 종종 최적화 복잡성과 대규모 분산 학습과의 호환성 문제에 직면합니다. 이러한 격차를 해소하기 위해, Ruyi2는 Megatron-LM을 기반으로 안정적인 "가족 모델(Familial Model)"을 도입했습니다. 3D 병렬 학습을 통해 Ruyi보다 2~3배 빠른 속도를 달성했으며, 동일 크기의 Qwen3 모델과 유사한 성능을 보였습니다. 이러한 결과는 가족 기반 파라미터 공유가 매우 효과적인 전략임을 확인해주며, 새로운 "한 번 학습, 다중 배포(Train Once, Deploy Many)" 패러다임을 제시하고, 아키텍처 효율성과 고성능 기능을 균형 있게 조화시키는 데 중요한 참고 자료를 제공합니다.

Large Language Models (LLMs) face significant challenges regarding deployment costs and latency, necessitating adaptive computing strategies. Building upon the AI Flow framework, we introduce Ruyi2 as an evolution of our adaptive model series designed for efficient variable-depth computation. While early-exit architectures offer a viable efficiency-performance balance, the Ruyi model and existing methods often struggle with optimization complexity and compatibility with large-scale distributed training. To bridge this gap, Ruyi2 introduces a stable "Familial Model" based on Megatron-LM. By using 3D parallel training, it achieves a 2-3 times speedup over Ruyi, while performing comparably to same-sized Qwen3 models. These results confirm that family-based parameter sharing is a highly effective strategy, establishing a new "Train Once, Deploy Many" paradigm and providing a key reference for balancing architectural efficiency with high-performance capabilities.