SHAP에서의 설명 다양성: 특성 분석 및 평가

Explanation Multiplicity in SHAP: Characterization and Assessment

사후 설명(post-hoc explanation)은 대출, 고용, 의료 등 고위험 분야에서 자동화된 의사 결정을 정당화하고, 반박하며, 검토하는 데 널리 사용됩니다. 이러한 방법 중 SHAP은 개별 예측에 어떤 특징이 중요했는지에 대한 신뢰할 수 있는 정보를 제공하는 것으로 간주되며, 구제(recourse), 감독, 책임성을 뒷받침하는 데 널리 사용됩니다. 그러나 실제로는 SHAP 설명은 개별 대상, 예측 작업, 학습된 모델이 동일하더라도 반복 실행 시 상당한 차이를 보일 수 있습니다. 우리는 이러한 현상을 '설명 다양성(explanation multiplicity)'이라고 명명하며, 이는 동일한 의사 결정에 대해 내부적으로 유효하지만 실질적으로 다른 여러 가지 설명이 존재한다는 것을 의미합니다. 설명 다양성은 책임감 있는 인공 지능 배포에 대한 규범적 과제를 야기합니다. 왜냐하면 설명이 부적절한 결과의 이유를 안정적으로 식별할 수 있다는 기대감을 훼손하기 때문입니다. 우리는 사후 특징 기여 방법에서 설명 다양성을 특성화하기 위한 종합적인 방법론을 제시하고, 모델 훈련 및 선택에서 비롯되는 요인과 설명 파이프라인 자체의 확률적 요인을 구분합니다. 또한, 설명 다양성이 드러나는 정도는 설명 일관성을 측정하는 방법에 따라 달라집니다. 일반적으로 사용되는 크기 기반 지표는 안정성을 나타낼 수 있지만, 상위 순위 특징의 동일성 및 순서에서 상당한 불안정성을 가릴 수 있습니다. 관찰된 불안정성을 이해하기 위해, 우리는 합리적인 가설 모델 하에서 무작위 기준값을 도출하고 추정하여, 설명 불일치를 해석하기 위한 원칙적인 기준점을 제공합니다. 데이터 세트, 모델 클래스 및 신뢰 수준에 관계없이, 설명 다양성은 널리 퍼져 있으며, 고신뢰 예측을 포함한 매우 통제된 조건에서도 지속되는 것으로 나타났습니다. 따라서 설명 방식은 사회적 역할에 부합하는 지표 및 기준을 사용하여 평가되어야 합니다.

Post-hoc explanations are widely used to justify, contest, and review automated decisions in high-stakes domains such as lending, employment, and healthcare. Among these methods, SHAP is often treated as providing a reliable account of which features mattered for an individual prediction and is routinely used to support recourse, oversight, and accountability. In practice, however, SHAP explanations can differ substantially across repeated runs, even when the individual, prediction task, and trained model are held fixed. We conceptualize and name this phenomenon explanation multiplicity: the existence of multiple, internally valid but substantively different explanations for the same decision. Explanation multiplicity poses a normative challenge for responsible AI deployment, as it undermines expectations that explanations can reliably identify the reasons for an adverse outcome. We present a comprehensive methodology for characterizing explanation multiplicity in post-hoc feature attribution methods, disentangling sources arising from model training and selection versus stochasticity intrinsic to the explanation pipeline. Furthermore, whether explanation multiplicity is surfaced depends on how explanation consistency is measured. Commonly used magnitude-based metrics can suggest stability while masking substantial instability in the identity and ordering of top-ranked features. To contextualize observed instability, we derive and estimate randomized baseline values under plausible null models, providing a principled reference point for interpreting explanation disagreement. Across datasets, model classes, and confidence regimes, we find that explanation multiplicity is widespread and persists even under highly controlled conditions, including high-confidence predictions. Thus explanation practices must be evaluated using metrics and baselines aligned with their intended societal role.