표현 데이터 자동 특징 생성 시스템: LLM 기반 다중 에이전트 시스템과 메모리 활용

Memory-Augmented LLM-based Multi-Agent System for Automated Feature Generation on Tabular Data

자동 특징 생성은 수동 개입 없이 원시 표 형식 데이터에서 유용한 특징을 추출하며, 정확하고 일반화 가능한 머신러닝을 위해 매우 중요합니다. 기존 방법은 미리 정의된 연산자 라이브러리에 의존하며, 작업의 의미론적 정보를 활용하지 못하여 복잡한 작업에 대한 다양하고 가치 있는 특징을 생성하는 데 한계가 있습니다. 최근의 대규모 언어 모델(LLM) 기반 접근 방식은 풍부한 의미론적 정보를 제공하지만, 여전히 고정된 생성 패턴으로 인해 특징 공간이 제한적이고 학습 목표로부터의 피드백이 부족하다는 문제가 있습니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 자동 특징 생성을 위한 메모리 기반 LLM 다중 에이전트 시스템(MALMAS)을 제안합니다. MALMAS는 생성 과정을 다양한 책임의 에이전트로 분해하고, 라우터 에이전트가 각 반복마다 적절한 에이전트 집합을 활성화하여 특징 공간 탐색 범위를 넓힙니다. 또한, 절차적 기억, 피드백 기억, 개념적 기억을 포함하는 메모리 모듈을 통합하여 반복적인 개선을 통해 이후의 특징 생성을 적응적으로 안내하고 특징의 품질과 다양성을 향상시킵니다. 여러 공개 데이터셋에 대한 광범위한 실험을 통해 제안하는 방법의 효과를 입증했습니다. 코드 및 관련 자료는 다음 링크에서 확인할 수 있습니다: https://github.com/fxdong24/MALMAS

Automated feature generation extracts informative features from raw tabular data without manual intervention and is crucial for accurate, generalizable machine learning. Traditional methods rely on predefined operator libraries and cannot leverage task semantics, limiting their ability to produce diverse, high-value features for complex tasks. Recent Large Language Model (LLM)-based approaches introduce richer semantic signals, but still suffer from a restricted feature space due to fixed generation patterns and from the absence of feedback from the learning objective. To address these challenges, we propose a Memory-Augmented LLM-based Multi-Agent System (\textbf{MALMAS}) for automated feature generation. MALMAS decomposes the generation process into agents with distinct responsibilities, and a Router Agent activates an appropriate subset of agents per iteration, further broadening exploration of the feature space. We further integrate a memory module comprising procedural memory, feedback memory, and conceptual memory, enabling iterative refinement that adaptively guides subsequent feature generation and improves feature quality and diversity. Extensive experiments on multiple public datasets against state-of-the-art baselines demonstrate the effectiveness of our approach. The code is available at https://github.com/fxdong24/MALMAS