텍스트에서 처치 효과로: 텍스트 기반 교란 요인을 처리하기 위한 메타 러닝 접근법

From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding

인과 머신 러닝의 핵심 목표 중 하나는 관측 데이터로부터 이질적인 처치 효과를 정확하게 추정하는 것이다. 최근 몇 년간, 메타 러닝은 어떠한 지도 학습 모델을 사용하더라도 조건부 평균 처치 효과(CATE)를 추정할 수 있는 유연하고 모델 불가지론적인 패러다임으로 부상했다. 본 논문은 교란 변수가 텍스트로 표현될 때 메타 러너의 성능을 조사한다. 합성 데이터 실험을 통해, 정형 배경 변수 외에 교란 변수의 사전 학습된 텍스트 표현을 함께 사용하는 학습 모델이, 특히 충분한 데이터가 가용할 때 정형 변수에만 의존하는 모델에 비해 개선된 CATE 추정치를 달성함을 보여준다. 그러나 텍스트 임베딩의 얽혀 있는 특성으로 인해, 이러한 모델들은 완벽한 교란 변수 지식을 갖춘 메타 러너의 성능에는 완전히 미치지 못한다. 이러한 연구 결과는 인과 추론을 위한 사전 학습된 텍스트 표현의 잠재력과 한계를 동시에 강조하며, 향후 연구를 위한 흥미로운 방향을 제시한다.

One of the central goals of causal machine learning is the accurate estimation of heterogeneous treatment effects from observational data. In recent years, meta-learning has emerged as a flexible, model-agnostic paradigm for estimating conditional average treatment effects (CATE) using any supervised model. This paper examines the performance of meta-learners when the confounding variables are expressed in text. Through synthetic data experiments, we show that learners using pre-trained text representations of confounders, in addition to tabular background variables, achieve improved CATE estimates compared to those relying solely on the tabular variables, particularly when sufficient data is available. However, due to the entangled nature of the text embeddings, these models do not fully match the performance of meta-learners with perfect confounder knowledge. These findings highlight both the potential and the limitations of pre-trained text representations for causal inference and open up interesting avenues for future research.