국지적 그래디언트 충돌 해결을 통한 다국어 미세 조정

Multilingual Fine-Tuning via Localized Gradient Conflict Resolution

최근 대규모 언어 모델(LLM)의 급속한 발전으로, 다양한 언어에 대한 처리 능력이 현대 시스템의 중요한 특징으로 자리 잡았습니다. 하지만 이러한 모델들을 미세 조정하는 과정에서 종종 여러 언어 간 부정적인 상호 작용이 발생합니다. 이를 해결하기 위해, 본 연구에서는 다국어 미세 조정을 다중 목적 최적화(MOO) 문제로 재정의했습니다. 특히, 저희는 Bucket-Level MOO라는 확장 가능한 분산 프레임워크를 제안하는데, 이는 파라미터 그룹별로 그래디언트 기반 MOO 알고리즘을 국지적으로 적용합니다. 이를 통해 전체 그래디언트 벡터를 다시 계산하는 데 드는 높은 통신 비용 없이도 충돌을 고려한 업데이트가 가능합니다. 이론적으로, 저희는 이 국지적 해결 방식이 Refined Pareto Stationarity라는 파레토 최적성에 대한 더욱 엄격한 필요 조건을 자연스럽게 만족함을 증명했습니다. 실험 결과, Bucket-Level MOO는 LLM들이 각 언어에 특화된 표현을 학습하도록 유도하여 상호 작용을 줄이고, 표현의 분리성을 향상시킵니다. 네 가지 기본 LLM 모델에 대한 광범위한 실험에서, 저희 방법이 표준 미세 조정 방식보다 다양한 언어 성능을 크게 향상시키는 것을 확인했습니다.

The rapid evolution of Large Language Models (LLMs) has established cross-lingual versatility as a defining feature of modern systems. However, fine-tuning these models frequently induces negative interference across languages. To address this, we reformulate multilingual fine-tuning as a multi-objective optimization (MOO) problem. Specifically, we introduce Bucket-Level MOO, a scalable distributed framework that applies gradient-based MOO algorithms locally on parameter buckets. This enables conflict-aware updates without the prohibitive communication overhead of reconstructing full gradient vectors. Theoretically, we prove this localized resolution natively enforces Refined Pareto Stationarity, a strictly tighter necessary condition for Pareto optimality. Empirically, Bucket-Level MOO mitigates interference by driving LLMs to construct distinct language-specific dimensions, improving representational separability. Extensive experiments across four base LLMs demonstrate that our method significantly improves both seen and unseen multilingual performance over standard fine-tuning paradigms.