불확실성 기반 LLM 의미 증강을 통한 이질적 치료 효과 추정

Uncertainty-Guided LLM Semantic Augmentation for Heterogeneous Treatment Effect Estimation

이질적인 치료 효과 추정은 개인 맞춤형 프로모션 및 정밀 의료와 같은 표적 개입에 매우 중요합니다. 본 연구에서는 이러한 이질성을 특징짓는 표준적인 지표인 조건부 평균 치료 효과(CATE)에 초점을 맞춥니다. 표준적인 식별 조건을 충족하더라도, 유한 표본 CATE 추정은 공변량 조정 및 치료-효과 이질성을 학습해야 하며, 종종 X의 효과적인 표현을 함께 학습해야 합니다. 원시 숫자 및 범주형 인코딩은 의미 관계와 고차원 상호 작용을 암묵적으로 만들어, 이러한 공동 작업을 지역적으로 불안정하게 만들 수 있습니다. 추가 연구 결과에 따르면 이러한 불안정성은 부분적으로 분리된 할당 측면과 이질성 측면을 통해 나타납니다. 이러한 관찰 내용을 바탕으로, 본 연구에서는 추정기의 불확실성을 활용하여 사전 학습된 의미 정보를 지역적으로 불안정한 단위에 할당하는 플러그인 어댑터인 CURL(Causal Uncertainty-guided Representation Learning)을 제안합니다. CURL은 두 가지 역할 기반 프롬프트를 통해 동결된 LLM을 쿼리하고, 관찰된 공변량으로부터 할당 및 이질성 지향적인 표현을 구성하며, 이를 분리된 경로를 통해 전달합니다. 네 가지 벤치마크에서, CURL은 대부분의 설정에서 열 명 이상의 학습 모델의 성능을 향상시켰으며, 제거 실험, 정교화 동역학 분석, 경로 재할당 및 탐색 분석 결과는 제안된 설계 및 두 채널의 역할을 뒷받침합니다.

Estimating heterogeneous treatment effects is central to targeted interventions, such as personalized promotions and precision medicine. We focus on the conditional average treatment effect (CATE), a standard estimand for characterizing such heterogeneity. Even under standard identification conditions, finite-sample CATE estimation requires learning the nuisance structure for covariate adjustment and treatment-effect heterogeneity, often together with an effective representation of X. Raw numerical and categorical encodings can leave semantic relations and higher-order interactions implicit, making this joint task locally unstable. A motivating study further shows that this instability appears through partially separable assignment- and heterogeneity-side channels. Building on this observation, we propose CURL (Causal Uncertainty-guided Representation Learning), a plug-in adapter that uses estimator uncertainty to allocate pretrained semantic capacity to locally unstable units. CURL queries a frozen LLM through two role-conditioned prompts, constructs assignment- and heterogeneity-oriented representations from the observed covariates, and routes them through separated pathways. On four benchmarks, CURL improves ten host learners in most settings, while ablation, refinement-dynamics, route-reassignment, and probe analyses support the intended design and roles of the two channels.