FEAT: 극도로 큰 구조화 데이터에 대한 선형 복잡도를 갖는 기초 모델

FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

구조화된 데이터는 의료, 금융, 전자상거래 및 과학 데이터 관리에 필수적입니다. 대규모 구조화 데이터 모델(LDM)은 다양한 데이터 세트를 통합하여 분류, 회귀 및 의사 결정 지원과 같은 작업을 수행하는 기초 모델 패러다임을 확장합니다. 그러나 기존 LDM은 다음과 같은 주요 한계점을 가지고 있습니다. 첫째, 대부분의 모델은 O(N^2)의 복잡도를 갖는 샘플별 자기 주의(self-attention)에 의존하여 샘플 수를 제한합니다. 둘째, 선형 시퀀스 모델은 종종 은닉 상태 압축 및 인위적인 인과적 편향으로 인해 표현 능력이 저하됩니다. 셋째, 합성 데이터만을 사용하여 사전 훈련하는 경우 실제 분포를 제대로 반영하지 못하는 경우가 많습니다. 본 논문에서는 극도로 큰 구조화 데이터에 대한 선형 복잡도를 갖는 기초 모델인 FEAT를 제안합니다. FEAT는 이차적인 주의(attention)를 하이브리드 선형 인코딩으로 대체하는 다층 이중 축 아키텍처를 도입합니다. 이 아키텍처는 지역 샘플 종속성을 위한 적응적 퓨전 바이-맘바-2(AFBM)와 전역 메모리를 위한 컨볼루션 게이티드 선형 주의(Conv-GLA)를 결합합니다. 이러한 설계는 표현 능력을 유지하면서 선형 복잡도의 교차 샘플 모델링을 가능하게 합니다. FEAT는 견고성을 향상시키기 위해 하이브리드 구조적 인과 모델 파이프라인과 안정적인 재구성 목표를 채택합니다. 11개의 실제 데이터 세트에서 수행한 실험 결과, FEAT는 제로샷 성능 측면에서 기존 모델보다 일관되게 우수한 성능을 보였으며, 선형적으로 확장되고 최대 40배 더 빠른 추론 속도를 달성했습니다.

Structured data is foundational to healthcare, finance, e-commerce, and scientific data management. Large structured-data models (LDMs) extend the foundation model paradigm to unify heterogeneous datasets for tasks such as classification, regression, and decision support. However, existing LDMs face major limitations. First, most rely on sample-wise self-attention, whose O(N^2) complexity limits the sample count. Second, linear sequence models often degrade representations due to hidden-state compression and artificial causal bias. Third, synthetic-only pre-training often fails to match real-world distributions. We propose FEAT, a linear-complexity foundation model for extremely large structured data. FEAT introduces a multi-layer dual-axis architecture that replaces quadratic attention with hybrid linear encoding. The architecture combines adaptive-fusion bi-Mamba-2 (AFBM) for local sample dependencies and convolutional gated linear attention (Conv-GLA) for global memory. This design enables linear-complexity cross-sample modeling while preserving expressive representations. To improve robustness, FEAT adopts a hybrid structural causal model pipeline and a stable reconstruction objective. Experiments on 11 real-world datasets show that FEAT consistently outperforms baselines in zero-shot performance, while scaling linearly and achieving up to 40x faster inference.