다중 이해관계자 LLM 정렬: 집계로부터의 추정 분해

Multi-Stakeholder LLM Alignment: Decomposing Estimation from Aggregation

다중 이해관계자 작업은 상충되는 선호도를 가진 사용자들을 만족시키는 하나의 결과를 필요로 합니다. 전체적인 LLM 평가 모델은 효용 추정과 효용 집계를 혼합하여 사용하며, 이는 불안정한 암묵적 가중치를 초래합니다. 우리는 실험적으로 그리고 이론적으로 이 집계에 특화된 extit{가중치 노이즈}가 이해관계자 만족도가 분산될 때 큰 점수 변화를 일으킬 수 있음을 보여줍니다. 우리의 실험에서 이러한 가중치에 의한 변화는 또한 이해관계자 수가 증가함에 따라 커집니다. 우리는 extsc{DecompR}을 제안합니다. extsc{DecompR}에서는, 후보 항목 평가 전에 쿼리 구조로부터 역상관 관계를 기반으로 가중치를 고정하고, 각 역할별 효용은 독립적으로 추정하여, 후보 항목에 의존적인 가중치 변화를 제거하고 추정 노이즈를 줄입니다.

Multi-stakeholder tasks require one output to satisfy users with conflicting preferences. Holistic LLM judges conflate utility estimation and utility aggregation, yielding unstable implicit weights. We show empirically and theoretically that this aggregation-specific \emph{weighting noise} can create large score shifts when stakeholder satisfaction is dispersed; in our experiments, these weight-induced shifts also increase with stakeholder count. We propose \textsc{DecompR}: counterfactual-calibrated weights are fixed from query structure before candidate scoring, while per-role utilities are estimated independently, removing candidate-dependent weight drift and reducing estimation noise.