DiaLLM: 영어 방언 적용 시 강건성-생성 간 격차에 대한 연구

DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation

최근의 거대 언어 모델들은 다양한 영어 방언을 점차적으로 이해하게 되었지만, 여전히 표준적인 미국식 영어를 주로 생성하는 경향이 있습니다. 이러한 현상은 더 어려운 문제인 방언 생성 부분을 충분히 해결하지 못하고 있음을 의미합니다. 본 연구에서는 국제 영어 말뭉치(International Corpus of English)를 활용하여 세 가지 공개 모델 패밀리를 지속적으로 사전 훈련시키고, 암묵적 및 명시적 후속 훈련 방법을 적용하며, 각 방법은 세 가지 모델 정렬 전략과 결합됩니다. 이를 통해 호주식, 인도식, 그리고 북부 영국식 영어에 대한 이러한 구성 요소들의 최초의 통제된 비교 연구를 수행했습니다. 우리의 결과는 방언 강건성과 생성이 분리되어 있음을 보여줍니다. 즉, 벤치마크는 지속적인 사전 훈련 및 지도 미세 조정(SFT)에 의해 형성되지만, 정렬은 벤치마크에서 포착되지 않는 방식으로 생성에 눈에 띄게 영향을 미칩니다. 특정 방언을 목표로 하는 명시적 적응 방법은 신뢰성 있게 방언으로 인식되는 출력을 생성하며, 이는 일반적인 정렬 방식보다 선호됩니다. 하지만, 방언 보상(reward)을 가장 적극적으로 최적화하는 방법이 인간 평가자에게는 선호되지 않았습니다. 독립적인 언어학적 분석 결과는 이러한 보상-품질 격차를 뒷받침하며, 특히 세 가지 모델 패밀리 중 두 곳에서 명확하게 나타났습니다. 어떠한 단일 정렬 방법도 우월하지 않으며, 이 간극을 좁히기 위해서는 더욱 풍부한 보상 설계와 방언 관련 자원에 대한 지속적인 투자가 필요합니다. 본 연구에서는 모든 코드, 체크포인트 및 선호 데이터셋을 공개합니다.

Large language models increasingly \emph{understand} dialectal English, yet still \emph{produce} only standard, US-leaning English, leaving dialectal generation, the harder half of the problem, largely unaddressed. We introduce \textbf{DiaLLM}, which continually pretrains three open-weight language model families on the International Corpus of English and applies implicit and explicit post-training paradigms, each combined with three model alignment strategies, giving the first controlled comparison of these components across Australian, Indian, and Northern British English. Our results reveal that dialectal robustness and generation are \emph{dissociated}: benchmarks are shaped by continual pretraining and SFT, while alignment visibly reshapes generation in ways benchmarks do not capture. Explicit variety-targeted adaptation produces output reliably recognised as dialectal and preferred over broad alignment, yet the method that most aggressively optimises the dialectal reward is not preferred by human evaluators. Independent linguistic analysis corroborates this reward-quality gap, most clearly on two of the three families. No single alignment method dominates, and closing the gap will require richer reward designs and continued investment in dialectal resources. We release all code, checkpoints, and preference datasets.