LLM의 더 설명 가능하고 분할에 제약 없는 조합성 추정을 위한 연구: 규칙 생성 관점

Investigating More Explainable and Partition-Free Compositionality Estimation for LLMs: A Rule-Generation Perspective

조합성 일반화 테스트는 LLM의 조합성을 추정하는 데 자주 사용되지만, 이러한 테스트는 다음과 같은 한계점을 가지고 있습니다. (1) LLM의 샘플 조합성에 대한 이해를 고려하지 않고 출력 결과에만 초점을 맞추어 설명 가능성이 부족합니다. (2) 테스트 세트를 구성하기 위해 데이터셋 분할에 의존하며, 이는 학습 데이터에 나타나지 않는 조합에 대한 누수 문제를 야기합니다. 본 연구에서는 LLM의 조합성 추정을 위한 새로운 규칙 생성 관점을 제안합니다. 이 관점은 LLM이 데이터셋 매핑을 위한 프로그램 규칙을 생성하도록 요구하며, 복잡성 기반 이론을 사용하여 LLM의 조합성을 추정합니다. 이 관점은 조합성 일반화 테스트의 한계를 해결하고 LLM의 조합성 특성을 분석하는 새로운 방법을 제공합니다. 본 연구에서는 문자-그리드 작업에 대한 기존의 고급 LLM에 대해 이 관점을 기반으로 실험 및 분석을 수행했으며, LLM이 나타내는 다양한 조합성 특성과 조합성 결함을 발견했습니다.

Compositional generalization tests are often used to estimate the compositionality of LLMs. However, such tests have the following limitations: (1) they only focus on the output results without considering LLMs' understanding of sample compositionality, resulting in explainability defects; (2) they rely on dataset partition to form the test set with combinations unseen in the training set, suffering from combination leakage issues. In this work, we propose a novel rule-generation perspective for compositionality estimation for LLMs. It requires LLMs to generate a program as rules for dataset mapping and provides estimates of the compositionality of LLMs using complexity-based theory. The perspective addresses the limitations of compositional generalization tests and provides a new way to analyze the compositionality characterization of LLMs. We conduct experiments and analysis of existing advanced LLMs based on this perspective on a string-to-grid task, and find various compositionality characterizations and compositionality deficiencies exhibited by LLMs.