텍스트 지능 저하 없이 통합된 오디오 인텔리전스

Unified Audio Intelligence Without Regressing on Text Intelligence

오디오 인텔리전스는 오디오와 음성을 이해하고, 추론하며, 생성하는 것을 포함합니다. 본 연구에서는 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합형 오디오-텍스트 LLM인 Nemotron-Labs-Audex-30B-A3B (Audex)를 소개합니다. Audex는 간단하고 통일된 설계를 채택하며, 단일 Transformer 디코더를 사용합니다. 오디오 입력은 인코딩되고 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리됩니다. 이러한 아키텍처는 강력한 오디오-텍스트 융합, 원활한 다중 모드 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 합니다. 학습을 위해, 우리는 총 1574억 개의 오디오 토큰과 3205억 개의 텍스트 토큰으로 구성된 정교하게 선별된 오디오-텍스트 데이터셋을 사용했습니다. 이러한 데이터셋에 대해 다단계 지도 학습을 수행하고, 이후에는 텍스트 전용 Cascade RL 및 다중 도메인 온정책 증류를 적용했습니다. Audex는 최첨단 수준의 오디오 이해, 음성 인식 및 번역, 텍스트-음성 변환, 오디오 생성, 그리고 음성-음성 변환 성능을 제공하며, 동시에 텍스트 전용 LLM 백본이 가진 뛰어난 추론 능력, 일관성, 지식, 장기 컨텍스트 처리 능력, 그리고 에이전트 기능을 거의 또는 전혀 저하시키지 않습니다. 모델 체크포인트를 공개하여 연구 활성화를 지원합니다.

Audio intelligence involves understanding, reasoning about, and generating both audio and speech. In this work, we introduce Nemotron-Labs-Audex-30B-A3B (Audex), a unified audio-text LLM built on Nemotron-Cascade-2-30B-A3B, a strong text-only MoE LLM. Audex adopts a simple unified design with a single Transformer decoder: audio inputs are encoded and projected into the text embedding space, while text tokens and quantized audio output tokens are treated uniformly during generation. This architecture enables strong audio-text fusion, seamless multimodal generation, and compatibility with standard LLM training and inference infrastructure. For training, we meticulously curate audio-text datasets comprising 157.4B audio tokens and 320.5B text tokens. We apply multi-stage supervised training on these datasets, followed by text-only Cascade RL and multi-domain on-policy distillation. Audex delivers state-of-the-art audio understanding, speech recognition and translation, text-to-speech, audio generation, and speech-to-speech generation, while preserving very compelling reasoning, alignment, knowledge, long-context, and agentic capabilities of its text-only LLM backbone with marginal or no regression. We release the model checkpoints to facilitate open research.