NOMADD: 데이터 드리프트에 적응하는 모델의 수치적 최적화

NOMADD: Numerical Optimization of Models Adapting to Data Drift

특징 분포가 시간 경과에 따라 변하거나, 특징과 결과 변수 간의 관계가 시간에 따라 변화하면 테이블 형태 모델의 성능이 저하되는데, 이를 각각 데이터 드리프트와 개념 드리프트라고 합니다. 이러한 문제는 레이블된 데이터가 즉시 사용 가능하지 않거나, 모델 재학습이 비현실적일 경우 실시간으로 해결하기 어렵습니다. 드리프트를 줄이는 도구들이 존재하지만, 일반적으로 특정 신경망 아키텍처에 맞춰 설계되어 있으며 모델 학습 방식을 조정합니다. 본 논문에서는 트리부터 신경망, 테이블 형태 기반 모델까지 다양한 모델에 적용 가능한 개념 드리프트 감소를 위한 대체적인 사후 처리 방법을 제시합니다. 특히, 높은 모델 정확도, 제한된 추론 시간 또는 모델 크기와 같은 제약 조건으로 인해 사용자가 특정 용도에 맞는 여러 모델 중에서 선택해야 하는 경우 이 새로운 도구는 매우 유용합니다. 저희 알고리즘은 기본 모델을 각 레이블된 학습 기간별로 개별적으로 학습시키고, 모든 기간에 걸쳐 단일 앵커 모델과 비교하여 파라미터의 변화를 측정하며, 이러한 변화를 저랭크 분해를 통해 압축하고, 각 잠재 요인을 감쇠되고 정규화된 예측을 사용하여 미래로 외삽합니다. 제안하는 방법은 Drift-Resilient TabPFN 벤치마크에서 자체 프로토콜과 지표에 따라 평가되었으며, 적용되는 모든 기본 모델 패밀리에 대해 성능 향상을 보였고, 몇 초의 학습 시간으로 최첨단 수준의 Drift-Resilient TabPFN과 경쟁력 있는 성능을 달성했습니다. 반면, Drift-Resilient TabPFN은 약 1,300 GPU 시간을 사용하여 수백만 개의 합성 데이터셋에 대한 사전 학습이 필요하며, 추론 속도가 훨씬 느립니다 (모델에 따라 다름). 논의에서는 이 도구를 다른 모달리티로 확장할 때의 가능성과 과제를 살펴봅니다.

Tabular model performance degrades when feature distributions change over time or the relationship between features and outcome variables change over time, known as data drift and concept drift, respectively. These issues are challenging to mitigate in real time because labeled data may not be immediately available, or re-training a model could be impractical. While tools exist to reduce drift, they are typically bespoke to neural network architectures and adapt how models are trained. In this paper, we offer an alternative post-hoc method to reduce concept drift, which is applicable to a variety of models, from trees to neural networks to tabular foundation models. This new tool is especially useful when constraints, such as high model accuracy, bounded inference time, or model size requires users to choose between different models for their specific use-cases. Our algorithm fits the base model separately on each labeled training period, measures how its parameters evolve against a single anchor model pooled over all of those periods, compresses those changes with a low-rank factorization, and extrapolates each latent factor forward with a damped, regularized forecast. On the 18-dataset Drift-Resilient TabPFN benchmark, evaluated under that benchmark's own protocol and metric, the extrapolation improves every base family it is applied to, and achieves performance competitive with the state-of-the-art Drift-Resilient TabPFN with seconds of training. In contrast, Drift-Resilient TabPFN requires pre-training on millions of synthetic datasets over approximately 1,300 GPU-hours, and is orders of magnitude slower in inference (depending on the model). In the discussion, we explore the promise and challenges of extending this tool to other modalities.