ExeCRE: 실행 일관성 기반 신뢰도 추정 모델을 활용한 자기 수정 코드 생성

ExeCRE: Execution-Consistency Guided Reliability Estimation for Self-Correcting Code Generation

대규모 언어 모델(LLM)은 코드 생성 분야에서 상당한 발전을 이루었지만, 여전히 복잡한 알고리즘이나 구현이 필요한 어려운 작업에는 어려움을 겪고 있습니다. 최근 방법들은 종종 코드 실행을 피드백으로 사용하며, 특히 생성된 코드를 기반으로 검증 신호를 구성하는 자기 수정 파이프라인에서 이러한 경향이 두드러집니다. 그러나 이러한 파이프라인은 종종 신뢰도가 불확실한 감독 신호에 의존하는데, 이는 잘못된 피드백, 불필요한 수정 및 부정확한 최종 결과로 이어질 수 있습니다. 이 문제를 해결하기 위해, 실행 일관성을 기반으로 코드의 신뢰도를 추정하는 ExeCRE 프레임워크를 제안합니다. ExeCRE는 테스트나 LLM 피드백을 통해 후보 코드를 판단하는 대신, 방대한 양의 무작위로 생성된 입력에 대한 실행 결과의 일관성 패턴을 통계적으로 분석하여 코드의 신뢰도를 추정합니다. ExeCRE는 생성된 입력을 기반으로 실행 결과를 수집하고, 이를 일관성 신호로 변환한 다음, Dawid-Skene 모델을 적용하여 잠재적인 코드 신뢰도를 추론합니다. ExeCRE를 자기 수정 코드 생성에 통합했습니다. 실험 결과, ExeCRE는 효과성과 안정성을 지속적으로 향상시키면서 잘못된 수정 신호를 크게 줄이는 것으로 나타났습니다. LiveCodeBench에서 GPT-5.2를 사용하여 대표적인 자기 수정 기준 모델과 비교했을 때, 이미 정확한 코드에 대한 잘못된 피드백 건수가 113.2건에서 ExeCRE 사용 시 14.0건으로 감소했습니다. 추가 연구로, 동일한 신뢰도 추정 전략을 코드를 기반으로 하는 수학적 추론에 적용하여 유사한 이점을 관찰했습니다. 이러한 결과는 ExeCRE가 실행 기반 파이프라인에서 생성된 코드를 더욱 안정적으로 활용할 수 있도록 한다는 것을 시사합니다.

Large language models (LLMs) have made notable progress in code generation, but they still struggle on challenging tasks that require sophisticated algorithms or complex implementations. Recent methods increasingly use code execution as feedback, especially in self-correction pipelines that construct verification signals from generated code. However, these pipelines often depend on supervision signals whose reliability is unknown, which can introduce misleading feedback, unnecessary revisions, and incorrect final answers. To address this issue, we propose ExeCRE, an Execution-Consistency guided code Reliability Estimation framework. Instead of judging candidate code by tests or LLM feedback, ExeCRE estimates code reliability by statistically analyzing consistency patterns in execution outputs over a large number of randomly generated inputs. It collects execution outputs over generated inputs, projects them into consistency signals, and applies the Dawid-Skene model to infer latent code reliability. We integrate ExeCRE into self-correction for code generation. Experiments show that ExeCRE consistently improves both effectiveness and stability, while substantially reducing misleading correction signals. Under GPT-5.2 on LiveCodeBench, the average number of misleading feedback cases on already correct code drops from 113.2 with a representative self-correction baseline to 14.0 with ExeCRE. As an additional study, we apply the same reliability estimation strategy to code-based mathematical reasoning and observe similar benefits. These results suggest that ExeCRE enables more reliable use of generated code in execution-based pipelines.