다중 에이전트 강화학습을 활용한 인과 기반 자동 특성 공학

Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning

자동 특성 공학(AFE)은 AI 시스템이 원시 정형 데이터로부터 높은 효용성을 가진 표현을 자율적으로 구성할 수 있게 합니다. 그러나 기존 AFE 방법들은 통계적 휴리스틱에 의존하여, 분포 변화가 발생할 때 성능이 저하되는 취약한 특성들을 생성하는 경향이 있습니다. 본 연구에서는 AFE를 인과적으로 유도된 순차적 의사결정 과정으로 재정의하여, 인과 발견과 강화학습 기반의 특성 구성을 연결하는 프레임워크인 CAFE를 제안합니다. 1단계에서는 특성과 타겟 간의 희소 방향 비순환 그래프(DAG)를 학습하여 연성 인과 사전 지식(soft causal priors)을 획득하고, 타겟에 대한 인과적 영향력에 따라 특성들을 직접, 간접, 기타 요인으로 그룹화합니다. 2단계에서는 계단식 다중 에이전트 심층 Q-러닝 아키텍처를 사용하여 인과 그룹 및 변환 연산자를 선택하며, 계층적 보상 형상화와 인과 그룹 수준의 탐색 전략을 통해 특성의 복잡성을 제어하면서 인과적으로 타당한 변환을 선호하도록 유도합니다. 15개의 공개 벤치마크(분류: macro-F1, 회귀: 역 상대 절대 오차) 실험 결과, CAFE는 강력한 AFE 베이스라인 모델들 대비 최대 7%의 성능 향상을 달성했으며, 수렴에 필요한 에피소드 수를 줄이고 경쟁력 있는 수행 시간을 기록했습니다. 통제된 공변량 변화(covariate shifts) 환경에서 CAFE는 비인과적 다중 에이전트 베이스라인에 비해 성능 하락폭을 약 4배 감소시켰으며, 더 안정적인 사후 기여도(post-hoc attributions)를 갖는 간결한 특성 집합을 생성했습니다. 이러한 결과는 인과 구조를 엄격한 제약이 아닌 연성 귀납적 사전 지식(soft inductive prior)으로 활용할 때 자동 특성 공학의 견고성과 효율성을 크게 향상시킬 수 있음을 시사합니다.

Automated feature engineering (AFE) enables AI systems to autonomously construct high-utility representations from raw tabular data. However, existing AFE methods rely on statistical heuristics, yielding brittle features that fail under distribution shift. We introduce CAFE, a framework that reformulates AFE as a causally-guided sequential decision process, bridging causal discovery with reinforcement learning-driven feature construction. Phase I learns a sparse directed acyclic graph over features and the target to obtain soft causal priors, grouping features as direct, indirect, or other based on their causal influence with respect to the target. Phase II uses a cascading multi-agent deep Q-learning architecture to select causal groups and transformation operators, with hierarchical reward shaping and causal group-level exploration strategies that favor causally plausible transformations while controlling feature complexity. Across 15 public benchmarks (classification with macro-F1; regression with inverse relative absolute error), CAFE achieves up to 7% improvement over strong AFE baselines, reduces episodes-to-convergence, and delivers competitive time-to-target. Under controlled covariate shifts, CAFE reduces performance drop by ~4x relative to a non-causal multi-agent baseline, and produces more compact feature sets with more stable post-hoc attributions. These findings underscore that causal structure, used as a soft inductive prior rather than a rigid constraint, can substantially improve the robustness and efficiency of automated feature engineering.