공정한 표 형식 기반 모델 학습

Training Fair Tabular Foundation Models

표 형식 기반 모델(TFMs)은 표 형태 데이터를 활용한 예측 작업에서 선도적인 방법으로, 특정 작업에 대한 추가 훈련 없이 문맥 내 학습을 통해 새로운 데이터에 대한 예측을 수행합니다. TFMs가 중요한 의사 결정에 점점 더 많이 사용되고 있지만, 그들의 공정성 특성은 아직 거의 연구되지 않았습니다. 본 연구에서는 공정성 제약을 TFM 학습 과정에 직접 통합하여 단일 순방향 연산으로 공정한 예측을 가능하게 합니다. 우리의 접근 방식은 두 가지 주요 과제를 해결합니다: 훈련 데이터에서 민감한 속성에 대한 제한적인 접근성, 그리고 기존의 공정성 기술이 문맥 내 학습 패러다임과 호환되지 않는다는 점입니다. 우리는 합성된 공정성 작업을 기반으로 하고, 그래디언트 역전 회전을 사용하는 공정성을 고려한 아키텍처를 활용하여 모델이 민감한 속성에 불변하는 표현을 학습하도록 장려하는 확장 가능한 훈련 전략인 FairTFM을 제안합니다. 132개의 공정성 작업에 대한 실험 결과, 공정성이 꾸준히 향상되는 동시에 경쟁력 있는 정확도를 유지하는 것으로 나타났습니다.

Tabular Foundation Models (TFMs) have emerged as leading methods for tabular predictive tasks, leveraging in-context learning to predict on new data without task-specific training. Despite the increased use of TFMs in high-stakes decision-making, their fairness properties remain largely unexplored. In this work, we incorporate fairness constraints directly into TFM training, enabling fair predictions in a single forward pass. Our approach addresses two key challenges: limited access to sensitive attributes in training data, and the incompatibility of existing fairness techniques with the in-context learning paradigm. We propose FairTFM, a scalable training strategy based on synthetic fairness tasks and a fairness-aware architecture using a gradient reversal layer, which encourages the model to learn representations invariant to sensitive attributes. Experiments on 132 fairness tasks show consistent improvements in fairness while maintaining competitive accuracy.