TAROT: LLM 사전 지식 그래프의 작업 적응형 정제를 통한 소량 데이터 테이블 학습

TAROT: Task-Adaptive Refinement of LLM-prior Graphs for Few-shot Tabular Learning

소량 데이터 테이블 학습은 주석 비용이 많이 들고 새로운 작업에 대한 충분한 샘플을 수집하기 어려운 실제 응용 분야에서 비용 효율적인 접근 방식을 제공합니다. 기존의 전통적인 방법과 LLM 기반 방법 모두 소량 데이터 시나리오에서 효과를 입증했습니다. 그러나 전통적인 방법은 추가적으로 레이블이 없는 또는 생성된 데이터에 대한 학습이 필요하며, 이는 상당한 계산 오버헤드를 발생시킵니다. 또한, 원시 테이블 데이터를 직접 LLM에 입력하는 방식의 LLM 기반 방법은 개인 정보 보호 및 규정 준수 문제를 야기합니다. 더욱 중요한 점은 두 가지 패러다임 모두 특징 간의 의미적 관계를 충분히 고려하지 못하며, 이는 의미 있는 그래프 구축을 위한 구조적이고 의미론적인 사전 지식을 제공합니다. 의미 그래프는 소량 데이터 시나리오에서 의미 있는 특징 상호 작용을 모델링하는 데 필수적입니다. 본 논문에서는 구조적 및 의미론적 사전 지식을 활용하여 작업에 적응된 의미 그래프를 구성하고 개선함으로써 소량 데이터 테이블 학습의 예측 성능을 향상시키는 GNN 기반 프레임워크인 TAROT을 제안합니다. TAROT은 먼저 Unified Semantic Tabular Node Encoder (USTNE)를 통해 이질적인 테이블 데이터를 통일된 노드 의미 표현으로 인코딩합니다. 그런 다음, LLM에 작업 설명 및 특징 이름을 기반으로 특징 간의 의미적 관계를 추론하도록 요청하여 의미 그래프를 구축합니다. TAROT은 LLM의 환각 현상으로 인해 발생하는 구조적 잡음을 완화하기 위해 Task-adaptive Semantic Graph Refinement를 도입하여 관련 없는 또는 작업과 무관한 에지를 제거하고 누락된 작업 관련 에지를 추가함으로써 그래프 구조를 다운스트림 목표에 맞춥니다. 마지막으로, GNN은 정제된 그래프 위에서 메시지 전달을 수행하여 예측을 위한 작업 관련 의미적 의존성을 포착합니다. 다양한 소량 데이터 테이블 학습 벤치마크에서의 광범위한 실험 결과는 TAROT의 우수한 성능을 입증하며, 이는 이 분야의 최첨단 접근 방식임을 나타냅니다.

Few-shot tabular learning provides a cost-effective approach for real-world applications where annotation is costly and collecting sufficient samples for new tasks is difficult. Existing Traditional and LLM-based methods have demonstrated effectiveness in few-shot scenarios. However, traditional methods need additional training on unlabeled or generated data, which incur significant computational overhead. In addition, LLM-based methods that directly feed raw tabular data into LLMs raise privacy and compliance concerns. More importantly, both paradigms largely overlook the semantic relationships between features, which provide structural and semantic prior for constructing a semantic graph. Semantic graph is essential for modeling meaningful feature interactions in few-shot scenarios. In this paper, we propose TAROT, a GNN-based framework that encodes the structural and semantic prior by constructing and refining a task-adaptive semantic graph from this prior, thereby improving predictive performance in few-shot tabular learning. TAROT first encodes heterogeneous tabular data into unified node semantic representations via a Unified Semantic Tabular Node Encoder (USTNE). Then, it prompts LLMs to infer the semantic relationship between features based on the task description and feature names to construct a semantic graph. To mitigate structural noise introduced by the hallucination of LLMs, TAROT introduces Task-adaptive Semantic Graph Refinement that prunes spurious or task-unrelated edges and adds missing task-related ones, aligning the graph structure with the downstream objective. Finally, a GNN performs message passing over the refined graph to capture task-related semantic dependencies for prediction. Extensive experiments on various few-shot tabular learning benchmarks demonstrate the superior performance of TAROT, establishing it as a state-of-the-art approach in this domain.