오토필(Auto-Fill): 특화된 언어 모델을 활용하여 누락된 값을 정확하게 예측하는 방법

Auto-Fill: Learning to Predict Missing Values Accurately with Specialist Language Models

표 형태 데이터에서 누락된 셀 값을 예측하는 것은 데이터 정제의 기본적인 문제입니다. 최첨단 추론 모델은 행과 열 전체를 고려하여 누락된 값을 예측하는데 큰 가능성을 보여주지만, 확장 적용에는 비용이 많이 들고 과도한 확신을 보이는 경향이 있으며, 종종 환각되거나 잘못된 예측 결과를 생성합니다. 본 논문에서는 표 형태 데이터에서 높은 정확도의 누락 값 예측을 달성하기 위해서는 세 가지 핵심 역량의 독특한 조합이 필요하다는 것을 관찰했습니다. (1) 세계 지식, (2) 텍스트 기반 추론, 그리고 (3) 코드 기반 추론입니다. 우리는 이러한 역량을 결합하는 다양한 설계 방안을 체계적으로 탐색하고, 각 역량에 최적화된 세 개의 작은 언어 모델(SLM)을 추가 학습시키는 오토필(Auto-Fill) 접근 방식을 제안합니다. 또한, 높은 정확도를 보장하기 위해 가장 신뢰할 수 있는 특화 모델을 동적으로 선택하거나 생략하는 교정된 앙상블 메커니즘을 개발했습니다. 다양한 도메인에서 추출한 2200개의 실제 표를 사용한 11개의 벤치마크 실험 결과, 오토필은 o3-pro, Gemini 3 Pro 및 DeepSeek R1과 같은 최첨단 추론 모델보다 우수한 정확도를 달성하는 동시에 이러한 선도 모델의 비용의 1% 미만으로 작동합니다. 우리의 연구 결과는 표 형태 데이터 분야에서 전문화와 교정된 생략이 얼마나 효과적인지를 보여줍니다. 오토필은 https://github.com/lyrain2001/auto-fill 에서 공개적으로 이용 가능합니다.

Predicting missing cell values in tabular data is a fundamental problem in data cleaning. While state-of-the-art reasoning models show great promise in predicting missing values in tables, by reasoning holistically across rows and columns, they are costly to deploy at scale and tend to be overconfident, often generating hallucinated or false-positive predictions. In this paper, we observe that achieving high-precision missing-value prediction in tables requires a distinct combination of three capabilities: (1) world knowledge, (2) text-based reasoning, and (3) code-based reasoning. We systematically explore design choices for combining these capabilities, and propose an Auto-Fill approach that post-trains three specialist small language models (SLMs), each optimized for one capability. We develop a calibrated ensemble mechanism that either dynamically selects the most confident specialist or abstains, ensuring high accuracy. Extensive experiments on 11 benchmarks with 2200 real tables drawn from diverse domains show that Auto-Fill achieves superior accuracy compared to state-of-the-art reasoning models (e.g., o3-pro, Gemini 3 Pro, and DeepSeek R1), while operating at a fraction (less than 1%) of the cost of these frontier models. Our results highlight the effectiveness of specialization and calibrated abstention in the important domain of tabular data. Auto-Fill is publicly available at https://github.com/lyrain2001/auto-fill.