REL을 활용한 LLM의 관계 추론 능력 평가

Evaluating Relational Reasoning in LLMs with REL

관계 추론은 여러 개체, 속성 또는 변수를 동시에 연결하는 관계를 추론하는 능력입니다. 이 능력은 과학적 추론에 매우 중요하지만, 기존의 대규모 언어 모델(LLM)의 관계 추론 평가는 종종 테이블, 그래프 또는 합성 작업과 같은 구조화된 입력에 초점을 맞추며, 더 높은 차수의 관계 결합으로 인해 발생하는 어려움을 명확하게 구분하지 못합니다. 우리는 관계 복잡도(RC, Relational Complexity)라는 개념을 통해 이 문제를 연구합니다. RC는 관계를 적용하기 위해 동시에 연결되어야 하는 최소 독립 개체 또는 피연산자의 수를 의미합니다. RC는 입력 크기, 어휘, 표현 방식과 같은 교란 요인을 제어하면서 추론의 난이도를 체계적으로 변화시킬 수 있는 방법입니다. RC를 기반으로, 우리는 대수, 화학 및 생물학 분야를 포괄하는 생성 벤치마크 프레임워크인 REL을 소개합니다. REL은 각 분야 내에서 RC를 다양하게 변화시킵니다. 최첨단 LLM에서, 전체 개체 수가 일정하게 유지되더라도 RC가 증가함에 따라 성능이 지속적으로 그리고 단조롭게 저하되는 것을 확인했습니다. 이러한 실패 패턴은 테스트 시간의 계산량 증가 및 문맥 학습에서도 지속되며, 이는 불충분한 추론 단계 또는 예제 부족보다는 필요한 관계 결합의 차수와 관련된 제한 사항을 시사합니다. 우리의 결과는 현재 모델이 어려움을 겪는 고차원 추론 영역을 밝히고, 관계 복잡도를 통해 벤치마크를 재검토해야 할 필요성을 강조합니다.

Relational reasoning is the ability to infer relations that jointly bind multiple entities, attributes, or variables. This ability is central to scientific reasoning, but existing evaluations of relational reasoning in large language models often focus on structured inputs such as tables, graphs, or synthetic tasks, and do not isolate the difficulty introduced by higher-arity relational binding. We study this problem through the lens of Relational Complexity (RC), which we define as the minimum number of independent entities or operands that must be simultaneously bound to apply a relation. RC provides a principled way to vary reasoning difficulty while controlling for confounders such as input size, vocabulary, and representational choices. Building on RC, we introduce REL, a generative benchmark framework spanning algebra, chemistry, and biology that varies RC within each domain. Across frontier LLMs, performance degrades consistently and monotonically as RC increases, even when the total number of entities is held fixed. This failure mode persists with increased test-time compute and in-context learning, suggesting a limitation tied to the arity of the required relational binding rather than to insufficient inference steps or lack of exposure to examples. Our results identify a regime of higher-arity reasoning in which current models struggle, and motivate re-examining benchmarks through the lens of relational complexity.