LLM은 압축(및 해제)이 가능한가? 역확정성을 통한 코드 이해 및 실행 평가

Can LLMs Compress (and Decompress)? Evaluating Code Understanding and Execution via Invertibility

LLM은 코드 벤치마크에서 뛰어난 성능을 보이지만, 양방향 코드 실행 분석 결과, 순방향 및 역방향 실행 과정에서 일관된 추론을 유지하는 데 한계가 있음을 알 수 있습니다. 본 연구에서는 역방향 일관성을 엄격하게 평가하기 위해 설계된 네 가지 독특한 코드 실행 추론 작업으로 구성된 종합적인 벤치마크인 RoundTripCodeEval (RTCE)을 제시합니다. RTCE는 실행 없이 정확한 매칭 평가를 통해, 다양한 알고리즘 및 방향에서 인코딩과 디코딩 작업 간의 일관된 일대일 매핑을 모델이 유지하는지 평가합니다. 본 연구에서는 최첨단 코드 LLM을 제로샷 프롬프팅, 실행 추적을 이용한 지도 학습, 그리고 자기 성찰 메커니즘을 사용하여 체계적으로 평가했습니다. 각 방법은 소폭의 개선을 가져왔지만, 격차를 완전히 해소하지 못했습니다. 이는 현재 LLM이 진정한 양방향 일관성을 유지하는 데 어려움을 겪고 있으며, 신뢰할 수 있는 코드 추론에 필요한 내부적 일관성이 부족하다는 것을 시사합니다. RTCE는 기존의 I/O 예측, 실행 추론, 또는 양방향 자연어 벤치마크에서 파악할 수 없었던 새로운 통찰력을 제공합니다. 본 연구의 코드 및 데이터셋은 논문 게재 확정 시 공개될 예정입니다.

LLMs demonstrate strong performance on code benchmarks, yet round-trip code execution reveals limitations in their ability to maintain consistent reasoning across forward and backward execution. We present RoundTripCodeEval (RTCE), a comprehensive benchmark consisting of four distinct code execution reasoning tasks designed to rigorously test round-trip consistency. RTCE provides an execution-free, exact-match evaluation of bijection fidelity, assessing whether models preserve a consistent one-to-one mapping between encoding and decoding operations across various algorithms and directions. We systematically evaluate state-of-the-art Code-LLMs using zero-shot prompting, supervised fine-tuning on execution traces, and self-reflection mechanisms. Each yields modest improvements, but none closes the gap, indicating that current LLMs struggle with true round-trip consistency, which demonstrates that they lack the internal coherence required for trustworthy code reasoning. RTCE surfaces several new and previously unmeasured insights that are not captured by existing I/O-prediction, execution-reasoning, or round-trip natural-language benchmarks. We will release the code and the dataset upon acceptance.