더 나은 문학 번역: 다각적 데이터 생성 및 LLM 학습 접근 방식

Better Literary Translation: A Multi-Aspect Data Generation and LLM Training Approach

문학 번역은 고품질의 주석이 달린 데이터 부족과 표현의 유창성과 문학적 효과 사이의 균형이라는 어려움으로 인해 독특한 과제를 제시합니다. 본 연구에서는 각 품질 측면을 목표로 하는 특수 LLM 번역기를 사용하여 고품질 번역 참조 및 선호도 데이터를 생성하는 다각적인 반복 개선 프레임워크를 제안합니다. 생성된 데이터는 지도 학습 및 강화 학습에 활용됩니다. 실험 결과, 생성된 참조 데이터가 SFT(Supervised Fine-Tuning)에서 기존의 정답보다 8.65 CEA100 포인트 높은 성능을 보였습니다. 강화 학습에서는 DPO(Direct Preference Optimization)가 이 설정에서 성능 저하를 일으키는 반면, 명시적인 보상 모델을 활용한 GRPO(Generalized Reinforcement Learning with Proximal Policy Optimization)는 추가적으로 1.51 포인트의 성능 향상을 가져왔습니다. 이러한 결과는 두 단계 학습의 안정성과 GRPO의 온라인 탐색 능력 때문으로 해석됩니다. 개발된 모델인 LitMT-8B와 LitMT-14B는 MetaphorTrans 영어-중국어 문학 번역 벤치마크에서 각각 67.25 및 69.07 CEA100 점수를 달성하여, Claude Sonnet 4.5의 68.43점과 경쟁하는 성능을 보였으며, O. Henry와 같은 다른 분야의 문학 작품에 대한 강력한 일반화 능력을 보여주었습니다.

Literary translation poses unique challenges due to the scarcity of high-quality annotated data and the need to balance expression fluency with literary effect. We present a multi-aspect iterative refinement framework that generates high-quality translation references and preference data through specialized LLM translators, each targeting a distinct quality dimension. We leverage the generated data for supervised fine-tuning and reinforcement learning. Experiments show that our generated references outperform the original ground truth for SFT by 8.65 CEA100 points. For reinforcement learning, we find that DPO leads to performance degradation in this setting, while leveraging an explicit reward model for GRPO yields an additional 1.51 point improvement. We attribute this to the stability of two-stage training and GRPO's online exploration capability. Our resulting models, LitMT-8B and LitMT-14B, achieve 67.25 and 69.07 CEA100 respectively on the MetaphorTrans English-to-Chinese literary translation benchmark, competitive with Claude Sonnet 4.5 at 68.43, and demonstrate strong generalization to out-of-domain literary work (i.e., O. Henry).