정형 데이터에 대한 진화적 특징 공학

Evolutionary Feature Engineering for Structured Data

최근 대규모 언어 모델(LLM)은 진화 최적화에서 개방형 검색 연산자로 점점 더 많이 사용되고 있습니다. 본 논문에서는 LLM 기반의 진화를 활용하여 정형 데이터에 대한 전처리 변환을 발견하는 프레임워크인 Evolutionary Feature Engineering (EFE)를 소개합니다. EFE는 표준화된 fit/transform 인터페이스를 가진 Python 프로그램으로 변환을 표현하며, 이를 통해 기존 머신러닝 파이프라인에 직접 통합할 수 있습니다. 진화 과정에서 후보 프로그램은 데이터셋의 맥락, 요약 통계 및 검증 세트에서의 다운스트림 성능 피드백을 사용하여 개선됩니다. EFE는 두 가지 환경에서 구현되었습니다. 시계열 예측에서는 EFE-Time이 데이터셋별로 특정한 역변환 가능한 정규화를 학습하여 기존 시계열 기반 모델의 성능을 향상시킵니다. 다양한 데이터셋에서 평균적으로 3% 이상, COVID-Deaths 데이터셋에서는 최대 19%까지 예측 오류(MASE, WQL, MAE)를 줄였습니다. 주목할 점은 이러한 개선이 Chronos-2와 같은 최신 시계열 기반 모델에서도 나타났습니다. 표 형식 데이터 예측에서는 EFE-Tab이 유용한 해석 가능한 특징을 추가하고 중복된 특징을 제거하는 간결한 특징 프로그램을 진화시켜 기존 LLM 기반의 특징 공학 방법과 동등하거나 더 나은 성능을 보입니다. 특히 EFE-Tab은 고전적인 의사 결정 트리에서 작은 크기의 진화된 특징 세트를 사용하여 경쟁력 있는 정확도를 달성하면서도 해석 가능성을 유지하는 데 효과적이었습니다. 전반적으로 EFE는 LLM 기반의 진화를 통해 정형 데이터를 자동으로 처리함으로써 정확도와 해석 가능성을 모두 향상시킬 수 있음을 보여줍니다.

Large language models are increasingly used as open-ended search operators in evolutionary optimization. We introduce Evolutionary Feature Engineering (EFE), a framework for using LLM-based evolution to discover preprocessing transformations for structured data. EFE represents transformations as Python programs with a standardized fit/transform interface, allowing them to be inserted directly into existing machine learning pipelines. During evolution, candidate programs are refined using dataset context, summary statistics, and downstream performance feedback on validation set. We instantiate EFE in two settings. For time-series forecasting, EFE-Time learns invertible, dataset-specific normalizations that improve off-the-shelf time-series foundation models. It reduces forecasting errors (MASE, WQL, MAE) 3% or more when averaged across datasets and improvements are as much as 19% on the COVID-Deaths dataset. Notably, these improvements occur with recent TSFMs such as Chronos-2. For tabular prediction, EFE-Tab evolves compact feature programs that add useful interpretable features and remove redundant ones, improving or matching existing LLM-based feature-engineering methods. We found EFE-Tab to be particularly effective on classical decision trees, where small sets of evolved features yield competitive accuracy while preserving interpretability. Overall, EFE demonstrates that LLM-based evolution can improve both accuracy and interpretability when automatically tackling structured data.