BridgeAlign: 인문사회 과학 분야를 위한 선호도 정렬 방법론

BridgeAlign: Bridging Preference Alignment for Humanities and Social Sciences

대규모 언어 모델(LLM)의 데이터 합성 기술은 주로 검증 가능한 답변이 있는 영역에 집중되어 왔으며, 미묘한 품질 판단이 객관적인 정확성보다 중요한 개방형 인문사회 과학(HSS) 분야는 간과되어 왔습니다. 따라서 선호도 정렬은 다양한 HSS 작업에 적합한 패러다임입니다. 그러나 기존 방법들은 비용이 많이 들거나 HSS 분야에 특화되지 않았습니다. 이에 우리는 광범위한 HSS 분야를 위한 최초의 선호도 정렬 파이프라인 중 하나인 BridgeAlign을 제안합니다. BridgeAlign은 세 단계로 구성됩니다. (i) 시드 데이터 큐레이션: 휴리스틱/LLM 기반 필터링 및 텍스트 개선을 통해 웹 코퍼스에서 HSS 관련 시드 문서를 수집합니다. (ii) 선호도 데이터 합성: 페르소나 기반 역추론과 질의응답 일관성 검사를 사용하여 선호도 트리플렛을 생성합니다. (iii) 선호도 최적화: 단순한 인간-모델 비교 방식에서 벗어나, 먼저 HSS 품질 기준에 기반하여 선호도를 정의하고, 제어된 품질 저하를 통해 중간 응답을 생성하여 미세하게 구분되는 품질 차이를 갖는 쌍을 형성합니다. BridgeAlign은 21만 개 이상의 합성 선호도 샘플을 사용하여 Qwen3-8B 모델이 11개의 강력한 기준 모델에 비해 17개 벤치마크에서 가장 높은 평균 성능을 달성하도록 합니다. 특히, 광범위한 실험을 통해 뒷받침되는 바와 같이, 인간의 선호도 능력과 지식 기반 능력을 동시에 향상시키며, 이 두 가지 능력 간의 균형을 유지합니다.

While data synthesis for large language models (LLMs) is prevalent, it primarily targets domains with verifiable answers, overlooking open-ended humanities and social sciences (HSS), where nuanced quality judgments matter more than objective correctness. This makes preference alignment a natural paradigm for broad HSS tasks. Yet existing methods are either costly or not tailored to broad HSS disciplines. We thus propose BridgeAlign, among the first preference-alignment pipelines for broad HSS disciplines, with three phases: i) Seed Curation: curating HSS seed documents from web corpora via heuristic/LLM-based filtering and text refinement; ii) Preference Data Synthesis: generating preference triplets via persona-based instruction inversion with Q&A consistency checks; iii) Preference Optimization: moving beyond naive human-vs-model heuristics by first grounding preferences in HSS quality rubric, then generating transitional responses via controlled quality degradation to form near-boundary preference pairs for finer-grained quality discrimination. Aligning over 210k synthetic preference samples, BridgeAlign enables Qwen3-8B to achieve the best average across 17 benchmarks against 11 strong baselines; importantly, leading on both human-preference and knowledge-based capabilities at once, with no trade-off between them, as supported by extensive experiments and contextualized by existing theories.