컨텍스트 정보량 기반 성능 향상: RAG을 이용한 극소 자원 번역에서의 도메인 변화 문제 해결

Context Volume Drives Performance: Tackling Domain Shift in Extremely Low-Resource Translation via RAG

저자원 언어에 대한 신경망 기계 번역(NMT) 모델은 도메인 변화 시 성능 저하가 심각하게 발생합니다. 본 연구에서는 인도네시아 동부 지역의 토착어인 다오(Dhao)를 사용하여 이러한 문제를 정량적으로 분석했습니다. 다오어는 신약 성경(NT) 외에는 디지털 자료가 거의 없는 언어입니다. 표준 NMT 모델을 NT 데이터로 학습시킨 후, 새로운 데이터인 구약 성경(OT)에 적용했을 때, 동일 도메인 성능 점수가 36.17 chrF++에서 27.11 chrF++로 크게 감소했습니다. 이러한 성능 저하를 해결하기 위해, 본 연구에서는 미세 조정된 NMT 모델이 초안을 생성하고, 이후 대규모 언어 모델(LLM)이 검색 기반 증강 생성(RAG)을 통해 초안을 개선하는 하이브리드 프레임워크를 제안합니다. 최종 시스템은 35.21 chrF++의 성능을 달성하여, 초기 성능의 8.10점이 회복되었으며, 이는 원래 동일 도메인 품질에 거의 근접하는 수준입니다. 분석 결과, 성능 향상은 검색 알고리즘 선택보다는 검색된 예제의 수에 의해 주로 결정되는 것으로 나타났습니다. 질적 분석 결과, LLM은 '안전망' 역할을 수행하며, 제로샷 도메인에서 발생하는 심각한 오류를 수정하는 것으로 확인되었습니다.

Neural Machine Translation (NMT) models for low-resource languages suffer significant performance degradation under domain shift. We quantify this challenge using Dhao, an indigenous language of Eastern Indonesia with no digital footprint beyond the New Testament (NT). When applied to the unseen Old Testament (OT), a standard NMT model fine-tuned on the NT drops from an in-domain score of 36.17 chrF++ to 27.11 chrF++. To recover this loss, we introduce a hybrid framework where a fine-tuned NMT model generates an initial draft, which is then refined by a Large Language Model (LLM) using Retrieval-Augmented Generation (RAG). The final system achieves 35.21 chrF++ (+8.10 recovery), effectively matching the original in-domain quality. Our analysis reveals that this performance is driven primarily by the number of retrieved examples rather than the choice of retrieval algorithm. Qualitative analysis confirms the LLM acts as a robust "safety net," repairing severe failures in zero-shot domains.