TFM-Retouche: 표 형식 기초 모델을 위한 경량 입력 공간 어댑터

TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models

TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX 및 TabDPT과 같은 표 형식 기초 모델(TFMs)은 문맥 학습을 통해 뛰어난 제로샷 성능을 달성하지만, 그들의 고유한 편향(inductive biases)은 추론 시점에 고정되어 있습니다. 사전 학습된 TFM을 특정 데이터셋 또는 작업에 적용하는 데는 일반적으로 전체 미세 조정(full fine-tuning)이 필요하며, 이는 계산 비용이 많이 듭니다. 또는 LoRA와 같은 파라미터 효율적인 튜닝(PEFT) 방법을 사용해야 하지만, 이러한 방법은 각 TFM의 내부 아키텍처에 맞춰 조정해야 합니다. 또한, 가중치 공간 미세 조정이 정확도 또는 교정(calibration)을 향상시키는지에 대한 증거는 엇갈리고 있습니다 extcolor{blue}{\citep{tanna_exploring_2026,rubachev_finetuning_2025}}. 우리는 TFM-Retouche를 제안합니다. TFM-Retouche는 설계상 고정된 TFM 백본에 대해 아키텍처에 독립적인 경량 입력 공간 잔차 어댑터입니다. TFM-Retouche는 사전 학습된 모델의 고유한 편향에 맞춰 입력 데이터를 조정하기 위해 입력 공간에서 작은 잔차 보정을 학습합니다. 어댑터는 고정된 TFM을 통해 end-to-end 방식으로 학습되며, 성능 향상이 없을 경우 미세 조정을 중단하고 원래 TFM으로 되돌리는 후속 학습 방식을 사용합니다. TabArena-Lite(이진 분류, 다중 클래스 분류 및 회귀를 포괄하는 51개의 데이터셋)에서 TabICLv2-Retouche (TabICLv2에 적용된 프레임워크)는 경량의 작업별 튜닝 및 앙상블을 통해 리더보드에서 가장 높은 순위를 차지하며, 고정된 TabICLv2 기본 모델보다 Elo 점수를 +56만큼 향상시키고 예측 품질과 훈련 및 추론 시간 간의 균형(Pareto front)에 위치합니다.

Tabular foundation models (TFMs), such as TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, and TabDPT, achieve strong zero-shot performance through in-context learning, but their inductive biases remain fixed at inference time. Adapting a pretrained TFM to a specific dataset or task typically requires either full fine-tuning, which is computationally expensive, or parameter-efficient tuning methods (PEFT) such as LoRA, which must be tailored to the internal architecture of each TFM. Furthermore, the evidence on whether weight-space fine-tuning improves accuracy or calibration is mixed \citep{tanna_exploring_2026,rubachev_finetuning_2025}. We introduce TFM-Retouche, a lightweight input-space residual adapter that is architecture-agnostic by design with respect to the frozen TFM backbone. TFM-Retouche learns a small residual correction in the input space to align the input data with the inductive biases of the pretrained model. The adapter is trained end-to-end through the frozen TFM, with a post-training identity guard that falls back to the unmodified TFM whenever adaptation does not help on held-out validation. On TabArena-Lite (51 datasets spanning binary classification, multiclass classification, and regression), TabICLv2-Retouche -- the framework instantiated on TabICLv2 -- is the top-ranked method on the leaderboard with light per-task tuning and ensembling, lifting aggregate Elo by +56 over the frozen TabICLv2 base and sitting on the Pareto front of predictive quality versus both training and inference time.