CuMA: 인구 통계 정보를 고려한 어댑터 혼합을 통한 희소 문화적 가치 정렬

CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters

대규모 언어 모델(LLM)이 전 세계 사용자를 대상으로 서비스를 제공함에 따라, 정렬 과정은 보편적인 합의를 강제하는 것에서 벗어나 문화적 다양성을 존중하는 방향으로 전환해야 합니다. 본 연구에서는 밀집 모델이 상충하는 가치 분포에 맞춰야 할 때, '평균 붕괴(Mean Collapse)' 현상이 발생하여 다양한 그룹을 제대로 대표하지 못하는 일반적인 평균으로 수렴한다는 것을 보여줍니다. 이는 '문화적 희소성(Cultural Sparsity)' 때문이며, 이로 인해 밀집 파라미터가 뚜렷한 문화적 특성을 포괄하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 'CuMA(Cultural Mixture of Adapters)'라는 프레임워크를 제안합니다. CuMA는 정렬을 '조건부 용량 분리(conditional capacity separation)' 문제로 정의하며, 인구 통계 정보를 고려한 라우팅을 통해 '잠재 문화 토폴로지(Latent Cultural Topology)'를 내재화하여 상충하는 그래디언트를 특화된 전문가 서브스페이스로 명시적으로 분리합니다. WorldValuesBench, Community Alignment, 및 PRISM 데이터셋에 대한 광범위한 실험 결과, CuMA는 최첨단 성능을 달성하며, 밀집 모델 기준 모델 및 의미론 기반 MoE 모델보다 훨씬 뛰어난 성능을 보입니다. 또한, 분석 결과 CuMA가 평균 붕괴를 효과적으로 완화하여 문화적 다양성을 보존한다는 것을 확인했습니다. 본 연구의 코드는 https://github.com/Throll/CuMA 에서 확인할 수 있습니다.

As Large Language Models (LLMs) serve a global audience, alignment must transition from enforcing universal consensus to respecting cultural pluralism. We demonstrate that dense models, when forced to fit conflicting value distributions, suffer from \textbf{Mean Collapse}, converging to a generic average that fails to represent diverse groups. We attribute this to \textbf{Cultural Sparsity}, where gradient interference prevents dense parameters from spanning distinct cultural modes. To resolve this, we propose \textbf{\textsc{CuMA}} (\textbf{Cu}ltural \textbf{M}ixture of \textbf{A}dapters), a framework that frames alignment as a \textbf{conditional capacity separation} problem. By incorporating demographic-aware routing, \textsc{CuMA} internalizes a \textit{Latent Cultural Topology} to explicitly disentangle conflicting gradients into specialized expert subspaces. Extensive evaluations on WorldValuesBench, Community Alignment, and PRISM demonstrate that \textsc{CuMA} achieves state-of-the-art performance, significantly outperforming both dense baselines and semantic-only MoEs. Crucially, our analysis confirms that \textsc{CuMA} effectively mitigates mean collapse, preserving cultural diversity. Our code is available at https://github.com/Throll/CuMA.