TLPO: 토큰 수준 정책 최적화를 통한 대규모 언어 모델의 언어 혼동 완화
TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models
대규모 언어 모델(LLM)은 뛰어난 다국어 능력을 보여주지만, 종종 의도된 언어로 일관된 응답을 생성하지 못하고, '언어 혼동'이라는 현상을 나타냅니다. 기존의 시퀀스 수준 미세 조정 기반 접근 방식(예: DPO, ORPO, GRPO)은 전체 응답 수준에서 작동하며, 모델의 일반적인 능력이 의도치 않게 저하될 수 있다는 문제가 있습니다. 이러한 문제를 해결하기 위해, 우리는 언어 혼동을 완화하기 위한 토큰 수준 업데이트를 기반으로 하는 미세 조정 프레임워크인 '토큰 수준 정책 최적화(TLPO)'를 제안합니다. TLPO는 오류 발생 가능성이 높은 위치를 식별하고, 대체 후보 토큰을 탐색하며, 맞춤형 목표 함수를 사용하여 오류를 유발하는 출력을 세밀한 수준에서 억제하도록 정책을 업데이트합니다. 이러한 선택적인 개입을 통해, 모델의 일반적인 능력에 영향을 주지 않으면서 언어 혼동을 효과적으로 완화할 수 있습니다. 다양한 언어 모델에 대한 실험 결과, TLPO는 언어 일관성을 향상시키는 동시에 하위 작업의 정확도를 유지하면서 기존 방식보다 훨씬 우수한 성능을 보였습니다.
Large language models (LLMs) demonstrate strong multilingual capabilities, yet often fail to consistently generate responses in the intended language, exhibiting a phenomenon known as language confusion. Prior mitigation approaches based on sequence-level fine-tuning, such as DPO, ORPO, and GRPO, operate at the level of entire responses and can lead to unintended degradation of general model capabilities, motivating the need for more fine-grained alternatives. To address this, we introduce Token-Level Policy Optimization (TLPO), a fine-tuning framework designed to mitigate language confusion through localized, token-level updates. TLPO identifies error-prone positions, explores alternative candidate tokens, and updates the policy using a tailored objective to suppress error-inducing outputs at a granular level. This selective intervention enables effective mitigation of language confusion without compromising the model's general abilities. Experiments on multiple multilingual LLMs across diverse languages demonstrate that TLPO significantly outperforms baselines in improving language consistency while preserving downstream task accuracy.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.