LLM이 표를 주의 깊게 읽지 못할 때: 데이터 참조 오류 측정 및 감소

When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors

대규모 언어 모델(LLM)은 표 기반 작업에서 좋은 성능을 보이지만, 여전히 표 구조를 이해함에도 불구하고 데이터 참조 오류(DRE, Data Referencing Errors)를 발생시키는데, 이는 테이블 값을 잘못 인용하거나 누락하는 것을 의미합니다. 최종 답변의 정확성 외에도 DRE는 중간 추론 단계의 정확성과 신뢰성을 직접적으로 저해합니다. 그러나 기존 연구에서는 이러한 문제에 대한 제한적이고 소규모 분석만 제시되었습니다. 본 연구에서는 다양한 모델과 작업에 걸쳐 표 데이터 참조 오류를 체계적으로 평가한 최초의 연구입니다. 우리의 결과는 테스트된 모든 모델(1.7B에서 20B 파라미터)에서 DRE가 발생함을 보여줍니다. 또한, 데이터 참조를 비판기로 활용하면 필터링 및 거부 샘플링을 통해 답변 정확도를 최대 12.0%까지 향상시킬 수 있음을 입증했습니다. 마지막으로, 우리는 평균 F1 점수가 78.2%로, 인접 분포(in-distribution) 및 비인접 분포(out-of-distribution) DRE를 모두 감지하는 데 효과적인 가벼운 4B 파라미터 크기의 비판기 모델을 학습했습니다. 이 모델은 더 큰 모델의 추론 과정을 지원합니다.

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.