영어가 항상 최선의 교육자가 아닐 때: 교차 언어 인컨텍스트 학습에서의 모국어 효과

When English Isn't the Best Teacher: Source Language Effects in Cross-Lingual In-Context Learning

다국어 자연어 처리 분야에서 교차 언어 전이 연구는 지도 학습 미세 조정 환경에서 활발히 진행되어 왔으며, 데이터 가용성과 언어적 유사성이 전이 품질에 큰 영향을 미치는 것으로 알려져 있습니다. 그러나 최근 이 분야가 소량 데이터 기반 인컨텍스트 학습(ICL)으로 전환되면서, 미세 조정 연구의 결과가 그대로 적용된다고 가정하는 경우가 많습니다. 하지만 이러한 가정은 엄격하게 검증되지 않았으며, 교차 언어 ICL에서 어떤 원천 언어를 선택해야 하는지에 대한 질문이 여전히 남아 있습니다. 본 연구에서는 7가지 작업, 6개의 모델, 그리고 다양한 유형의 언어로 구성된 데이터 세트를 활용하여 교차 언어 ICL에서의 전이 현상에 대한 광범위한 실증적 연구를 수행했습니다. 또한, 생성 작업을 위한 중요한 장애물인 '언어 혼동' 현상을 분석했습니다. 연구 결과는 기존의 미세 조정 기반 기대값이 ICL 환경에서 항상 적용되지 않으며, 원천 언어를 효과적으로 선택하기 위한 새로운 방법론을 제시한다는 것을 보여줍니다.

Cross-lingual transfer in multilingual NLP has been widely explored in supervised fine-tuning contexts, where factors like data availability and linguistic similarity largely determine transfer quality. As the field shifts toward few-shot In-Context Learning (ICL), it is often presumed that insights from fine-tuning carry over unchanged. Yet this assumption has not been rigorously evaluated, leaving open the question of how to choose source languages for cross-lingual ICL. We conduct a broad empirical study of cross-lingual transfer in ICL spanning seven tasks, six models, and a typologically diverse set of languages. We further analyze language confusion, a key obstacle for generative tasks in cross-lingual ICL. Our results show that conventional fine-tuning-based expectations do not consistently apply in the ICL regime and point to alternative heuristics for selecting source languages effectively.