스키마 기반 합성 관계 데이터 사전 학습: PluRel-to-RDB-PFN

PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining

관계 기반 모델(RFM)은 사전 학습을 위해 대규모의 합성 관계 데이터베이스가 필요하지만, 기존 방법들은 데이터 생성과 모델 훈련 파이프라인을 밀접하게 결합하는 경향이 있습니다. 본 연구에서는 범용적인 합성 관계 데이터베이스 생성기인 PluRel이 RDB-PFN이라는 관계 기반 컨텍스트 학습 모델의 외부 데이터 소스로 활용될 수 있는지 조사합니다. RDB-PFN은 원래 60만 개의 단일 테이블 작업으로 사전 학습을 진행한 후, 약 180만 개의 작업으로 추가 학습을 수행하는 방식으로 개발되었습니다. 저희는 PluRel에서 생성된 데이터베이스를 RDB-PFN의 훈련 형식에 맞게 변환하는 파이프라인을 구축하고, 세 가지 교육 전략(스키마 기반 우선 (실제 스키마 -> 완전 합성), 완전 합성 (다양한 합성 스키마 활용), 스키마 기반 후순위 (완전 합성 -> 실제 스키마))을 평가했습니다. 약 5,500개의 관계 데이터베이스(약 33,000개 작업)만을 사용하고 단일 테이블 사전 학습 단계를 생략하면서, 저희의 최적 교육 전략(스키마 기반 우선)은 1024-shot 컨텍스트 환경에서 19개의 실제 벤치마크 작업에 대해 평균 ROC-AUC 점수 0.6346을 달성했으며, 이는 기존 RDB-PFN의 성능(0.7245)의 87.6%에 해당합니다. 64-shot 컨텍스트 환경에서는 이 격차가 93.8%(0.6116 vs. 0.6517)로 줄어듭니다. 이러한 결과는 외부 합성 생성기가 적절한 교육 설계와 함께 RFM의 유용한 사전 학습 신호를 제공할 수 있으며, 훈련 초기에 실제 스키마에 노출하는 것이 후반 단계의 스키마 적용보다 훨씬 효과적이라는 것을 보여줍니다.

Relational Foundation Models (RFMs) require large-scale synthetic relational databases for pretraining, but existing approaches tightly couple data generation with the model training pipeline. We study whether PluRel, a general-purpose synthetic relational database generator, can serve as an external data source for RDB-PFN, a relational in-context learner originally pretrained with a 600K-task single-table warm-up followed by an approximately 1.8M-task adaptation stage. We build a conversion pipeline that maps PluRel-generated databases, including externally constructed binary prediction tasks, into the RDB-PFN training format and evaluate three curriculum strategies: SCHEMA-GUIDED FIRST (real-world schema then fully synthetic), FULLY SYNTHETIC (diverse synthetic schemas throughout), and SCHEMA-GUIDED LAST (fully synthetic then real-world schema). Using only approximately 5,500 relational databases (approximately 33K tasks), roughly 55x fewer tasks than the original protocol, and no single-table warm-up, our best curriculum (SCHEMA-GUIDED FIRST) achieves 0.6346 average ROC-AUC across 19 real benchmark tasks at 1024-shot context, recovering 87.6% of the published RDB-PFN performance (0.7245). At 64-shot context, the gap narrows to 93.8% (0.6116 vs. 0.6517). Our results demonstrate that external synthetic generators can provide useful pretraining signals for RFMs when combined with appropriate curriculum design and that exposure to a real-world schema early in training is substantially more effective than late-stage schema adaptation.