병렬 우주, 병렬 언어: LLM 기반 다국어 반사실 예제 생성에 대한 종합 연구

Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation

반사실 예제는 모델의 예측을 변경시키는 최소한으로 수정된 입력으로, 모델의 동작을 설명하는 유망한 접근 방식입니다. 대규모 언어 모델(LLM)은 영어 반사실 예제를 생성하는 데 뛰어나며, 다국어 처리 능력도 갖추고 있습니다. 그러나 LLM이 다국어 반사실 예제를 생성하는 데 얼마나 효과적인지는 아직 명확하지 않습니다. 이에, 본 연구에서는 다국어 반사실 예제에 대한 종합적인 연구를 수행했습니다. 첫째, 6개 언어에 대해 직접 생성된 반사실 예제와 영어 번역을 통해 생성된 반사실 예제를 자동으로 평가했습니다. 번역 기반 반사실 예제가 직접 생성된 반사실 예제보다 더 높은 유효성을 갖지만, 훨씬 더 많은 수정이 필요하며, 여전히 원본 영어 반사실 예제의 품질을 따라가지 못합니다. 둘째, 풍부한 자원을 가진 유럽 언어의 반사실 예제에 적용되는 수정 패턴이 놀라울 정도로 유사하다는 것을 발견했으며, 이는 교차 언어적 변경이 공통된 전략적 원칙을 따른다는 것을 시사합니다. 셋째, 생성된 반사실 예제에서 일관되게 나타나는 네 가지 주요 유형의 오류를 식별하고 분류했습니다. 마지막으로, 다국어 반사실 데이터 증강(CDA)이 교차 언어 CDA보다 모델 성능 향상에 더 큰 기여를 한다는 것을 확인했으며, 특히 자원이 부족한 언어에서 그 효과가 더 큽니다. 그러나 생성된 반사실 예제의 불완전성은 모델 성능 및 안정성 향상에 제한을 가합니다.

Counterfactuals refer to minimally edited inputs that cause a model's prediction to change, serving as a promising approach to explaining the model's behavior. Large language models (LLMs) excel at generating English counterfactuals and demonstrate multilingual proficiency. However, their effectiveness in generating multilingual counterfactuals remains unclear. To this end, we conduct a comprehensive study on multilingual counterfactuals. We first conduct automatic evaluations on both directly generated counterfactuals in the target languages and those derived via English translation across six languages. Although translation-based counterfactuals offer higher validity than their directly generated counterparts, they demand substantially more modifications and still fall short of matching the quality of the original English counterfactuals. Second, we find the patterns of edits applied to high-resource European-language counterfactuals to be remarkably similar, suggesting that cross-lingual perturbations follow common strategic principles. Third, we identify and categorize four main types of errors that consistently appear in the generated counterfactuals across languages. Finally, we reveal that multilingual counterfactual data augmentation (CDA) yields larger model performance improvements than cross-lingual CDA, especially for lower-resource languages. Yet, the imperfections of the generated counterfactuals limit gains in model performance and robustness.