TranslateGemma 기술 보고서

TranslateGemma Technical Report

본 보고서에서는 Gemma 3 기반의 오픈 소스 기계 번역 모델인 TranslateGemma를 소개합니다. Gemma 3의 고유한 다국어 능력을 번역 작업에 활용하기 위해, 우리는 두 단계의 미세 조정 과정을 사용했습니다. 먼저, 최첨단 모델을 통해 생성된 고품질의 대규모 합성 병렬 데이터와 인간 번역 병렬 데이터를 혼합하여 지도 학습 방식으로 미세 조정을 수행합니다. 그 다음, 강화 학습 단계를 거치며, MetricX-QE 및 AutoMQM을 포함한 여러 보상 모델을 사용하여 번역 품질을 최적화합니다. 우리는 10개의 언어 쌍에 대한 WMT25 테스트 세트와 55개의 언어 쌍에 대한 WMT24++ 벤치마크를 사용하여 인간 평가와 자동 평가를 통해 TranslateGemma의 효과를 입증했습니다. 자동 평가 지표는 모든 크기에서 기준이 되는 Gemma 3 모델보다 일관되고 상당한 성능 향상을 보여줍니다. 특히, 작은 TranslateGemma 모델은 종종 더 큰 기준 모델과 비교 가능한 성능을 달성하여 효율성을 향상시킵니다. 또한, TranslateGemma 모델은 강력한 다중 모드 기능을 유지하며, Vistra 이미지 번역 벤치마크에서 향상된 성능을 보입니다. 오픈 소스 TranslateGemma 모델의 공개는 연구 커뮤니티에 강력하고 적응 가능한 기계 번역 도구를 제공하는 것을 목표로 합니다.

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.