LLM 판단 모델의 행동적 의존성 및 유도 편향을 감사하기 위한 통계 프레임워크

A Statistical Framework for Auditing Behavioral Dependence and Induced Bias in LLM Judges

대규모 언어 모델(LLM) 생태계의 급속한 성장은 중요한 질문을 제기합니다: 겉보기에 다양한 모델들이 실제로 독립적인가? 공유된 사전 학습 데이터, 증류 및 정렬 파이프라인은 숨겨진 행동적 의존성 또는 잠재적인 연관성을 유발할 수 있으며, 이는 LLM-as-a-judge 파이프라인이나 앙상블 검증과 같은 다중 모델 시스템을 저해합니다. 이러한 시스템들은 암묵적으로 독립적인 신호를 가정하기 때문입니다. 실제로는 이것이 상관된 추론 패턴 및 동기화된 실패로 나타나며, 겉으로 보이는 합의는 독립적인 검증이 아닌 공유된 오류 모드를 반영하는 경우가 많습니다. 이를 해결하기 위해, 우리는 블랙박스 LLM 간의 행동적 연관성을 감사할 수 있는 통계 프레임워크를 개발했습니다. 우리의 접근 방식은 다중 해상도 계층 구조를 도입하여 두 가지 정보 이론 기반 지표를 통해 공동 실패 공간을 특징짓습니다: (i) 동기화된 실패를 강조하는 난이도 가중 행동적 연관성 지수(BEI), 그리고 (ii) 오류 발생 시 방향성을 포착하는 누적 정보 획득량(CIG) 지표입니다. 여섯 가지 모델 패밀리의 18개 LLM에 대한 실험을 통해, 통계적으로 유의미한 행동적 연관성이 존재하는 것을 확인했습니다. 이러한 행동적 의존성은 분리된 MMLU-Pro 평가 세트에 대한 판단 모델의 과도한 찬성 편향과 관련이 있습니다(BEI의 경우 rho = 0.508, CIG의 경우 rho = 0.520; p < 0.01). 이러한 연관성은 MATH-500 벤치마크에서도 확인됩니다(BEI의 경우 rho = 0.441, CIG의 경우 rho = 0.457; p < 0.05), 이는 식별된 의존성 구조가 추정에 사용된 데이터 및 응답 형식을 넘어 일반화될 수 있음을 보여주는 교차 벤치마크 증거를 제공합니다. 마지막으로, 우리는 역연결(de-entangled) 검증자 앙상블 재가중을 통해 연관성의 실제 활용 사례를 보여주었으며, 이를 통해 정확도와 정밀도가 각각 3.5% 및 2.6% 포인트 향상되었습니다.

The rapid growth of the large language model (LLM) ecosystem raises a critical question: are seemingly diverse models truly independent? Shared pretraining data, distillation, and alignment pipelines can induce hidden behavioral dependencies, or latent entanglement, that undermine multi-model systems such as LLM-as-a-judge pipelines and ensemble verification, which implicitly assume independent signals. In practice, this manifests as correlated reasoning patterns and synchronized failures, where apparent agreement reflects shared error modes rather than independent validation. To address this, we develop a statistical framework for auditing behavioral entanglement among black-box LLMs. Our approach introduces a multi-resolution hierarchy that characterizes the joint failure manifold through two information-theoretic metrics: (i) a Difficulty-Weighted Behavioral Entanglement Index (BEI), which amplifies synchronized failures on easy tasks, and (ii) a Cumulative Information Gain (CIG) metric, which captures directional alignment in erroneous responses. Through experiments on 18 LLMs from six model families, we identify statistically significant behavioral entanglement. Such behavioral dependence is associated with judge over-endorsement bias on a disjoint MMLU-Pro evaluation set (rho = 0.508 for BEI and rho = 0.520 for CIG; p < 0.01). The association further transfers to the MATH-500 benchmark (rho = 0.441 for BEI and rho = 0.457 for CIG; p < 0.05), providing cross-benchmark evidence that the identified dependency structure generalizes beyond the data and response format used for its estimation. Finally, we demonstrate a practical use case of entanglement through de-entangled verifier ensemble reweighting, achieving 3.5 and 2.6 percentage-point gains in accuracy and precision, respectively, over majority voting.