배포된 머신러닝 파이프라인에서 기관 위험 모델의 공정성 감사

Fairness Audits of Institutional Risk Models in Deployed ML Pipelines

기관 위험 모델의 공정성 감사는 배포된 머신러닝 파이프라인이 자원을 어떻게 할당하는지 이해하는 데 매우 중요합니다. Centennial College와의 다년간의 협력을 바탕으로, 이전의 민속지학 연구에서 소개된 ASP-HEI Cycle을 활용하여, 실제 배포된 조기 경보 시스템(EWS)의 모델을 기관 훈련 데이터와 설계 사양을 사용하여 복제하는 기반 감사(replica-based audit)를 수행했습니다. 우리는 표준 공정성 지표를 사용하여 전체 파이프라인(훈련 데이터, 모델 예측, 후처리)에서 성별, 연령, 거주 지위에 따른 불평등을 평가했습니다. 우리의 감사는 다음과 같은 체계적인 자원 오배분을 드러냅니다. 젊은 남학생과 외국인 학생은 실제로 성공하는 경우가 많음에도 불구하고, 불균형적으로 지원 대상자로 분류되는 반면, 비슷한 중도 탈락 위험을 가진 나이가 많거나 여성 학생은 제대로 식별되지 않습니다. 후처리는 이 불평등을 심화시키는데, 이는 다양한 확률 값을 백분위수 기반 위험 등급으로 단순화하기 때문입니다. 이 연구는 기관 머신러닝 시스템을 감사하기 위한 재현 가능한 방법론을 제공하며, 불평등이 어떻게 발생하고 각 단계에서 어떻게 복합화되는지 보여줍니다. 또한, 통계적 공정성뿐만 아니라 구성 타당성 평가의 중요성을 강조합니다. 이 연구는 알고리즘, 학생 데이터, 그리고 고등 교육에서의 권력에 대한 광범위한 연구 프로그램의 한 가지 경험적 증거를 제공합니다.

Fairness audits of institutional risk models are critical for understanding how deployed machine learning pipelines allocate resources. Drawing on multi-year collaboration with Centennial College, where our prior ethnographic work introduced the ASP-HEI Cycle, we present a replica-based audit of a deployed Early Warning System (EWS), replicating its model using institutional training data and design specifications. We evaluate disparities by gender, age, and residency status across the full pipeline (training data, model predictions, and post-processing) using standard fairness metrics. Our audit reveals systematic misallocation: younger, male, and international students are disproportionately flagged for support, even when many ultimately succeed, while older and female students with comparable dropout risk are under-identified. Post-processing amplifies these disparities by collapsing heterogeneous probabilities into percentile-based risk tiers. This work provides a replicable methodology for auditing institutional ML systems and shows how disparities emerge and compound across stages, highlighting the importance of evaluating construct validity alongside statistical fairness. It contributes one empirical thread to a broader program investigating algorithms, student data, and power in higher education.