ProgramTab: 프로그래밍 패러다임을 활용하여 LLM의 테이블 추론 성능 향상

ProgramTab: Boosting Table Reasoning of LLMs via Programmatic Paradigm

대규모 언어 모델(LLM)을 이용한 테이블 기반 추론은 자연어 질문과 구조화된 표 데이터에 근거한 추론을 필요로 하며, 최근 많은 관심을 받고 있습니다. 하지만 이 분야에는 아직 해결해야 할 과제들이 남아 있으며, 특히 대규모 테이블의 경우 긴 텍스트 모델링의 어려움과 LLM의 입력 길이 제한으로 인해 성능 저하가 심각하게 나타납니다. 기존의 Text-to-SQL 방식은 표에서 핵심 정보를 효율적으로 추출하고 더 작은 하위 표를 생성하는 데 사용됩니다. 그러나 특히 웹 테이블과 같이 구조화되지 않고 일관성이 부족한 표 데이터는 SQL 쿼리를 사용하여 수학적 논리 연산을 수행하기에 적합하지 않습니다. 본 연구에서는 LLM이 Python 코드를 활용하여 테이블 데이터를 전처리하고, 행 및 열 추출, SQL 생성을 포함한 중요한 내용 추출을 수행하도록 유도하는 ProgramTab 프레임워크를 제안합니다. 테이블 추론 데이터셋에 대한 실험 결과는 ProgramTab 프레임워크가 테이블 기반 추론 작업에서 효과적으로 작동하며 기존 LLM 기반 방법보다 우수한 성능을 보임을 입증합니다.

Table-based reasoning with large language models (LLMs), which requires reasoning based on natural language questions and structured tabular data, has gained widespread attention. However, a series of issues still constrain the application of this task. The previous approaches suffered from significant performance degradation when faced with large tables due to the difficulty of long text modeling and the limitation of input length for LLMs. The text-to-SQL approach is used to efficiently extract key information from tables and generate smaller sub-tables. However, tabular data, especially web tables, often lack the necessary structure and consistency, making them unsuitable for performing mathematical logic operations using SQL queries. We propose the ProgramTab framework, which guides LLMs employing in-context learning to perform tabular data preprocessing with Python code, as well as the momentous contents extraction with row and column extraction and SQL generation. The experiment results on table reasoning datasets demonstrate that the ProgramTab framework effectively deals with table-based reasoning tasks and outperforms all LLM-based baselines.