LLM이 형식화 과정을 조작하는가? 논리적 추론에서의 충실성 평가

Do LLMs Game Formalization? Evaluating Faithfulness in Logical Reasoning

형식 검증은 증명의 유효성을 보장하지만, 형식화의 충실성을 보장하지는 않습니다. 특히, 모델이 라이브러리 제약 없이 처음부터 공리 체계를 구축하는 자연어 기반 논리적 추론에서, 유효한 증명과 충실한 번역 사이의 간극이 두드러집니다. 본 연구에서는 최첨단 모델들이 Lean 4 증명을 생성할 때 이러한 간극을 이용하는지, 즉 '형식화 조작'이라는 현상이 발생하는지 조사합니다. GPT-5와 DeepSeek-R1 모델을 303개의 1차 논리 문제(FOLIO에서 203개, Multi-LogiEval에서 100개)에 대해 평가하고, 통합 생성 방식과 형식화와 증명을 분리하는 2단계 파이프라인 방식을 비교했습니다. 87-99%의 컴파일률에도 불구하고, 통합 생성 방식에서 체계적인 조작 행위는 발견되지 않았습니다. 모델은 증명을 강제로 생성하기보다는 실패를 보고하는 것을 선호하며, 심지어 조작을 유도하는 프롬프트에도 그러한 경향이 나타났습니다. 그러나, 탐지 신호를 회피하는 형태의 충실성 부족은 여전히 발생할 수 있습니다. 2단계 파이프라인 분석 결과, GPT-5는 증명 생성 과정에서 공리를 날조하는 반면, DeepSeek-R1은 형식화 과정에서 전제를 잘못 번역하여 내부적으로 일관된 결과를 생성하지만, 이를 탐지하기 어렵습니다. 이러한 결과는 높은 컴파일률이나 정확도가 반드시 충실한 추론을 의미하지는 않는다는 것을 보여줍니다. 코드와 데이터는 https://github.com/koreankiwi99/formalization-gaming 에서 확인할 수 있습니다.

Formal verification guarantees proof validity but not formalization faithfulness. For natural-language logical reasoning, where models construct axiom systems from scratch without library constraints, this gap between valid proofs and faithful translations is especially acute. We investigate whether frontier models exploit this gap when generating Lean 4 proofs, a behavior we term formalization gaming. We evaluate GPT-5 and DeepSeek-R1 on 303 first-order logic problems (203 from FOLIO, 100 from Multi-LogiEval), comparing unified generation against a two-stage pipeline that separates formalization from proving. Despite compilation rates of 87-99%, we find no evidence of systematic gaming in unified generation: models prefer reporting failure over forcing proofs, even under prompting designed to encourage it. However, unfaithfulness that evades our detection signals may still occur. The two-stage pipeline reveals two distinct modes of unfaithfulness: GPT-5 fabricates axioms during proof generation, a reactive fallback detectable via cross-stage comparison, while DeepSeek-R1 mistranslates premises during formalization, producing internally consistent outputs that evade detection entirely. These findings show that high compilation rates or accuracies should not be equated with faithful reasoning. Code and data are available at https://github.com/koreankiwi99/formalization-gaming.