EdgeLM: 언어 모델의 테이블 이해를 위한 엣지 데모 활용

EdgeLM: Edge Demonstrations for Language Models' Table Understanding

대규모 언어 모델(LLM)은 컨텍스트 학습을 통해 표 중심 예측을 수행하며, 이때 데모 선택은 성능에 매우 중요합니다. 기존 검색 방법은 주로 쿼리와의 유사성을 우선시하지만, 유사한 데모는 종종 모델이 예상하는 예측을 강화할 뿐이며, 어려운 결정을 내리기에 필요한 차이를 보여주지 못합니다. 본 연구에서는 엣지(Edge) 증거를 선택하여 성능 향상을 목표로 하는 EdgeLM이라는 검색 프레임워크를 제안합니다. 엣지 증거는 쿼리와 관련성이 높으면서 동시에 의사 결정 경계에 대한 정보를 제공하는 데모입니다. EdgeLM은 데이터 엣지와 모델 엣지의 두 가지 상호 보완적인 형태의 엣지 증거를 검색합니다. 데이터 엣지는 다른 정답 레이블을 가진 근접한 예시이고, 모델 엣지는 배포된 모델이 이전에 오분류했던 유사한 예시입니다. EdgeLM은 모델 재학습이나 작업별 맞춤 설정을 필요로 하지 않습니다. 다섯 가지 데이터 처리 작업, 열다섯 개의 데이터 세트, 그리고 다섯 개의 공개 및 독점 LLM에 대해 실험한 결과, EdgeLM은 모든 설정에서 최상위 또는 거의 최상위 성능을 지속적으로 달성했습니다. 또한, 추가적인 분석을 통해 두 가지 형태의 엣지 증거가 상호 보완적인 이점을 제공한다는 것을 확인했습니다. 저희의 코드와 데이터 세트는 다음 링크에서 공개적으로 이용할 수 있습니다: https://github.com/soroushomidvar/EdgeLM.

Large language models (LLMs) perform table-centric prediction through in-context learning, making demonstration selection critical to performance. Existing retrieval methods prioritize similarity to the query, but similar demonstrations often reinforce the model's likely prediction rather than reveal the distinctions needed for difficult decisions. We propose EdgeLM, a retrieval framework that instead selects edge evidence, demonstrations that are both relevant to the query and informative about the decision boundary. EdgeLM retrieves two complementary forms of edge evidence by selecting data edges, nearby examples with different ground-truth labels, and model edges, similar examples previously misclassified by the deployed model. EdgeLM requires neither model retraining nor task-specific engineering. Across five data wrangling tasks, fifteen datasets, and five open-weight and proprietary LLMs, EdgeLM consistently achieves the best or near-best performance in every setting, while ablations show that the two forms of edge evidence provide complementary benefits. Our code and datasets are publicly available at https://github.com/soroushomidvar/EdgeLM.