메모리 효율적인 테이블 기반 기초 모델

Memory Efficient Tabular Foundation Models

TabPFN과 같은 테이블 기반 기초 모델은 문맥 내 테이블 머신러닝 작업에서 뛰어난 성능을 보여 최근 많은 관심을 받고 있습니다. 이러한 모델들은 기존 방식보다 훨씬 좋은 결과를 제공하는 경우가 많습니다. 하지만, 이러한 모델의 실제 적용 시 고려해야 할 사항에 대한 연구는 상대적으로 부족했습니다. 본 논문에서는 이러한 모델들의 메모리 요구사항을 조사합니다. 우리는 모델 압축 기법을 활용하여 최대 7.6배까지 메모리를 줄일 수 있으며, 성능 저하 없이 거의 87%의 배포 요구사항 감소를 달성할 수 있음을 보여줍니다. 본 연구는 실제 환경에서 이러한 모델을 효율적으로 배포하고자 하는 실무자들에게 유용한 정보를 제공합니다.

Tabular Foundation Models, such as TabPFN, have received a large amount of recent attention due to their performance on in-context tabular machine learning tasks, which often exceeds classical baselines. However, practical deployment considerations of these models has received less attention. In this paper we investigate the memory requirements for these models. We demonstrate that employing model compression approaches can enable memory reductions of up to 7.6 with similar levels of performance, reducing deployment requirements by nearly 87%. Our work provides insight to practitioners seeking efficient deployment of these models in practical settings.