K-EXAONE 2.0 기술 보고서
K-EXAONE 2.0 Technical Report
본 기술 보고서는 LG AI 연구에서 개발한 오픈형 다국어 기반 모델인 K-EXAONE 2.0을 소개합니다. 이는 글로벌 최고 수준의 기반 모델 개발을 위한 노력의 일환입니다. 기존 모델을 처음부터 학습하는 대신, K-EXAONE을 개선하고 아키텍처를 확장하여 총 7500억 개의 파라미터와 토큰당 약 370억 개의 활성화된 파라미터를 가진 Mixture-of-Experts (MoE) 모델을 구축했습니다. 이는 이전 모델의 용량보다 세 배 이상입니다. K-EXAONE 2.0은 최대 256K 토큰까지 지원하며, 다국어 지원 범위를 여섯 개 언어에서 열 개 언어로 확장했습니다. 학습 파이프라인은 지속적인 사전 훈련, 난이도 중심의 중간 훈련, 그리고 사후 훈련을 결합하여 추론 능력, 에이전트 기반 코딩, 다국어 기능 및 한국 사회문화적 맥락에 기반한 안전성을 강화합니다. 실제 사용 조건을 반영하는 아홉 가지 평가 범주에서 K-EXAONE 2.0은 이전 모델보다 성능이 향상되었으며, 오픈형 모델과 경쟁력을 유지하며, 특히 에이전트 기반 코딩 및 긴 문맥 이해 분야에서 큰 발전을 보였습니다. 또한 긴 문맥 검색 및 안전성 측면에서도 강점을 나타냅니다. Apache 2.0 라이선스에 따라 공개된 K-EXAONE 2.0은 더 넓은 AI 생태계가 이를 평가, 배포, 적용하고 개선할 수 있도록 하며, 이는 글로벌 최고 수준의 모델 개발이라는 우리의 노력의 시작을 의미합니다.
This technical report presents K-EXAONE 2.0, an open-weight multilingual foundation model developed by LG AI Research as a step in our effort toward global frontier-scale foundation models. Rather than training from scratch, we upcycle K-EXAONE and expand its architecture, yielding a Mixture-of-Experts (MoE) model with 750B total parameters and approximately 37B activated per token---more than three times the capacity of its predecessor. K-EXAONE 2.0 supports context lengths of up to 256K tokens and expands multilingual coverage from six to ten languages. Its training pipeline combines continual pre-training, difficulty-focused mid-training, and post-training to strengthen reasoning, agentic coding, multilingual capability, and safety grounded in Korean sociocultural contexts. Across nine evaluation categories selected to reflect the conditions of practical use, K-EXAONE 2.0 improves over K-EXAONE and remains competitive with open-weight models, showing its largest gains in agentic coding and long-context understanding and its clearest strengths in long-context retrieval and safety. Released under the Apache 2.0 license, K-EXAONE 2.0 enables the wider AI ecosystem to evaluate, deploy, adapt, and build upon it, while marking the beginning---rather than the endpoint---of our challenge toward the global frontier.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.