잘못된 가로등 아래를 들여다보기: 자동 번역 품질 평가의 한계에 대한 고찰

Looking under the Wrong Lamppost: On the Limitations of Automated Translation Quality Estimation

자동 번역 품질 평가(QE)는 대규모 번역 품질 관리를 위한 널리 논의되는 접근 방식으로, 이러한 목표 달성을 위해 다양한 도구와 기술이 출시되고 있습니다. 그러나 새로운 QE 시스템의 확산은 항상 견고하고 투명하며 재현 가능한 연구 및 테스트를 동반하지 않았으며, 이는 비판적인 검토가 필요한 문제입니다. 본 논문에서는 이론적 및 경험적 관점에서 QE 기술의 근본적인 한계를 살펴보고, 현재의 QE 시스템은 실제 번역 워크플로우에서 신뢰할 수 있는 독립형 도구로 사용하기에 구조적으로 적합하지 않다는 주장을 제시합니다. 검토된 증거는 QE가 다양한 상호 관련된 문제점들을 가지고 있으며, 이는 아직 해결되지 않았음을 시사합니다. 가장 근본적인 문제는 개별 문장 수준에서의 번역 품질 평가 자체가 일관성, 응집성 및 스타일적/수사적 텍스트 특징을 놓칠 가능성이 높다는 점입니다. 또한, 경험적 연구에서는 일반화 실패, 체계적인 편향, 과적합 및 분포 붕괴, 성능 격차, 오류 주석의 어려움 및 데이터 부족과 같은 여러 다른 한계점과 결함이 기록되어 있습니다. 이러한 문제는 인간 언어와 번역이라는 인지적/의사소통 행위의 복잡성에서 비롯된 구조적인 한계이며, 더 많은 데이터나 개선된 아키텍처를 통해 현재까지 극복되지 못했습니다. 결과적으로, 문장 수준의 QE 점수는 실제 운영 환경에서 라우팅, 출시 또는 검토 우회 기준으로 단독으로 사용되어서는 안 됩니다. 향후 연구는 MQM(Multidimensional Quality Metrics)에 기반한 인간 평가 자동화에 집중해야 합니다.

Automation of Translation Quality Estimation (QE) has emerged as a widely discussed approach to managing translation quality at scale, and a growing number of tools and technologies have been released in pursuit of this goal. However, the proliferation of new QE systems has not always been accompanied by robust, transparent, and reproducible research and testing. This gap deserves critical scrutiny. This paper examines some fundamental limitations of the QE technology from both theoretical and empirical perspectives, arguing that current QE systems are structurally ill-equipped to serve as reliable standalone tools in real-world translation workflows. The reviewed evidence suggests that QE suffers from a range of interrelated and largely unresolved limitations. Most fundamentally, the evaluation of the quality of translation at the level of isolated segments is problematic because it tends to miss out on cohesion, coherence, and stylistic and rhetorical text features. In addition, empirical research documents several other limitations and flaws, including failure to generalize, systematic biases, overfitting and distribution collapse, performance gaps, error annotation challenges, and data scarcity. These are structural limitations arising from the complexity of human language and translation as a cognitive and communicative act - limitations that more data and better architectures have so far not overcome. Consequently, segment-level QE scores should not be used as a standalone basis for routing, release, or review bypass in production; we argue future work should focus on automating human evaluation grounded in MQM.