인과 추론에 비정형 텍스트 통합: 실제 데이터를 이용한 실증적 증거

Integrating Unstructured Text into Causal Inference: Empirical Evidence from Real Data

인과 추론은 비즈니스 의사 결정을 위한 중요한 도구로서, 전통적으로 정형 데이터에 크게 의존합니다. 그러나 많은 실제 시나리오에서 이러한 데이터가 불완전하거나 존재하지 않을 수 있습니다. 본 논문에서는 트랜스포머 기반 언어 모델을 활용하여 비정형 텍스트를 사용하여 인과 추론을 수행하는 프레임워크를 제시합니다. 저희의 프레임워크가 인과 추론 추정치를 생성하는 데 얼마나 효과적인지, 정형 데이터로부터 얻은 결과와 비교하여 인구, 그룹 및 개별 수준에서 그 효과를 입증합니다. 연구 결과는 두 접근 방식 모두에서 일관된 결과를 보여주며, 이는 비정형 텍스트가 인과 추론 작업에서 잠재력을 가지고 있음을 확인시켜 줍니다. 저희의 접근 방식은 정형 테이블 데이터가 부족한 상황에서도 텍스트 데이터만으로 인과 추론 방법을 적용할 수 있도록 확장하여, 데이터 기반의 비즈니스 의사 결정을 가능하게 합니다.

Causal inference, a critical tool for informing business decisions, traditionally relies heavily on structured data. However, in many real-world scenarios, such data can be incomplete or unavailable. This paper presents a framework that leverages transformer-based language models to perform causal inference using unstructured text. We demonstrate the effectiveness of our framework by comparing causal estimates derived from unstructured text against those obtained from structured data across population, group, and individual levels. Our findings show consistent results between the two approaches, validating the potential of unstructured text in causal inference tasks. Our approach extends the applicability of causal inference methods to scenarios where only textual data is available, enabling data-driven business decision-making when structured tabular data is scarce.