KnowsTFM: 지식 기반 미세 조정 - 소규모 표형 데이터 기반 모델

KnowsTFM: Knowledge-Informed Fine-Tuning of Small Tabular Foundation Models

표형 데이터 기반 모델은 다양한 작은 및 중간 규모의 작업에서 강력한 기본 성능을 제공하여 표형 데이터를 위한 딥 러닝 발전에 기여했습니다. 그러나 특정 분야에서는 데이터가 부족하고, 고차원이며, 사전 학습 분포와 다른 경우에 이러한 모델이 여전히 신중하게 설계된 도메인별 방법보다 성능이 떨어지는 경우가 있습니다. 많은 이러한 분야에서 지식 그래프 및 지식 저장소의 형태로 선별된 관계형 지식이 제공되지만, 이 지식을 활용하여 extit{작은} 전문화된 표형 기반 모델을 개선하고 제어하는 방법에 대한 명확성은 여전히 부족합니다. 우리는 extbf{Know}ledge-informed fine-tuning of extbf{s}mall extbf{T}abular extbf{F}oundation extbf{M}odels ( extbf{ extit{모델 이름}})을 통해 이 문제를 해결합니다. 특히, 통제된 합성 사전 분포 하에서 사전 학습된 나노 스케일 TabPFN 및 TabICL 스타일 변형을 연구하고, 지식 그래프에서 파생된 구조적 어텐션 우선순위와 매개변수 효율적인 저차원 업데이트라는 두 가지 상호 보완적인 메커니즘을 사용하여 이를 조정합니다. 우리는 전문 분야의 설정에서, 도메인별 구조적 지식을 미세 조정을 통해 주입하면 일반적인 성능 향상이 큰 반면, 일반 도메인 작업에서는 그 효과가 미미하다는 것을 보여줍니다. 또한, 최첨단 모델의 지속적인 미세 조정은 사전 학습된 지식과 메커니즘의 붕괴를 유발할 수 있다는 점을 관찰했습니다.

Tabular foundation models have advanced deep learning for tabular data by delivering strong default performance across many small and medium tasks. Yet in niche domains, where data is scarce, high-dimensional, and shifted from the pretraining distribution, they may still fail to outperform carefully designed domain-specific methods. Many such domains also provide curated relational knowledge in the form of knowledge graphs and knowledge banks, but how to use this knowledge to improve and steer \textit{small} specialist tabular foundation models remains unclear. We address this problem through \textbf{Know}ledge-informed fine-tuning of \textbf{s}mall \textbf{T}abular \textbf{F}oundation \textbf{M}odels (\modelname). Specifically, we study nanoscale TabPFN- and TabICL-style variants, pretrained under controlled synthetic prior families and adapted using two complementary mechanisms: structural attention priors derived from knowledge graphs and parameter-efficient low-rank updates. We show that injecting domain-specific structural knowledge during fine-tuning yields meaningful gains over vanilla variants in specialist settings, whereas gains on general-domain tasks are marginal. We further observe that continual fine-tuning of frontier models can trigger collapse of pretrained knowledge and mechanisms.