에이전트 기반 논리 추론 에이전트 평가

Agentified Assessment of Logical Reasoning Agents

본 논문에서는 평가 자체가 재현 가능하고 감사 가능하며, 실행 오류에 강건하도록 논리 추론 에이전트를 평가하고 비교하는 프레임워크를 제시합니다. 에이전트 기반 평가 방식을 활용하여, 평가 에이전트는 평가 작업을 수행하고, 실행 시간 제한을 적용하며, 결과를 파싱하고, 체계적인 오류 유형을 기록합니다. 반면, 테스트 대상 에이전트는 표준화된 에이전트-에이전트 인터페이스만 제공하면 됩니다. 사례 연구로, SOLVER로 검증 및 수정된 FOLIO 데이터셋을 사용하여 1차 논리(FOL) 추론을 위한 자동 형식화 에이전트를 비교 분석했습니다. 해당 에이전트는 자연어 전제를 실행 가능한 Z3Py 프로그램으로 변환하고, 이론 모듈 만족 문제(SMT) 해결을 통해 논리적 함의를 결정합니다. 정제된 FOLIO 검증 데이터셋에서, 자동 형식화 에이전트는 평가 프로토콜 하에서 86.70%의 정확도를 달성하여, 연쇄적 사고(chain-of-thought) 기반 모델(73.89%)보다 우수한 성능을 보였습니다.

We present a framework for evaluating and benchmarking logical reasoning agents when assessment itself must be reproducible, auditable, and robust to execution failures. Building on agentified assessment, we use an assessor agent to issue tasks, enforce execution budgets, parse outputs, and record structured failure types, while the agent under test only needs to expose a standardized agent-to-agent interface. As a case study, we benchmark an auto-formalization agent for first-order logic (FOL) reasoning on a solver-verified and repaired split of FOLIO. The agent translates natural language premises and conclusions into executable Z3Py programs and employs satisfiability modulo theories (SMT) solving to determine logical entailment. On the cleaned FOLIO validation set, the auto-formalization agent achieves 86.70% accuracy under the assessor protocol, outperforming a chain-of-thought baseline (73.89%).