표 이해를 위한 LLM 심층 분석

A Closer Look into LLMs for Table Understanding

대규모 언어 모델(LLM)이 표 이해 분야에서 성공을 거두었지만, 그 내부 작동 메커니즘은 여전히 불분명합니다. 본 논문에서는 일반 LLM, 표 전문 LLM, 그리고 Mixture-of-Experts (MoE) 모델을 포함한 16개의 LLM에 대한 실증 연구를 수행하여 LLM이 표 데이터를 어떻게 이해하고, 어떤 방식으로 하위 작업(downstream tasks)을 수행하는지 탐구합니다. 본 연구는 어텐션 동역학, 효과적인 레이어 깊이, 전문가 활성화, 그리고 입력 디자인의 영향 등 4가지 측면에 초점을 맞춥니다. 주요 결과는 다음과 같습니다: (1) LLM은 세 단계의 어텐션 패턴을 따르는데, 초기 레이어는 표 전체를 광범위하게 스캔하고, 중간 레이어는 관련된 셀을 특정하며, 후기 레이어는 해당 셀의 기여도를 증폭시킵니다. (2) 표 관련 작업은 안정적인 예측을 위해 수학적 추론보다 더 깊은 레이어가 필요합니다. (3) MoE 모델은 중간 레이어에서 표에 특화된 전문가를 활성화하며, 초기 및 후기 레이어는 범용 전문가를 공유합니다. (4) Chain-of-Thought 프롬프팅은 표 어텐션을 증가시키며, 이는 표 튜닝에 의해 더욱 강화됩니다. 본 연구의 결과와 통찰력을 통해 표 관련 작업에 대한 해석 가능성을 높이고, 향후 연구를 촉진할 수 있기를 바랍니다.

Despite the success of Large Language Models (LLMs) in table understanding, their internal mechanisms remain unclear. In this paper, we conduct an empirical study on 16 LLMs, covering general LLMs, specialist tabular LLMs, and Mixture-of-Experts (MoE) models, to explore how LLMs understand tabular data and perform downstream tasks. Our analysis focus on 4 dimensions including the attention dynamics, the effective layer depth, the expert activation, and the impacts of input designs. Key findings include: (1) LLMs follow a three-phase attention pattern -- early layers scan the table broadly, middle layers localize relevant cells, and late layers amplify their contributions; (2) tabular tasks require deeper layers than math reasoning to reach stable predictions; (3) MoE models activate table-specific experts in middle layers, with early and late layers sharing general-purpose experts; (4) Chain-of-Thought prompting increases table attention, further enhanced by table-tuning. We hope these findings and insights can facilitate interpretability and future research on table-related tasks.