문제 해결을 넘어: 코드 생성, 해킹 및 수정 능력을 평가하기 위한 UOJ-벤치마크

Beyond Problem Solving: UOJ-Bench for Evaluating Code Generation, Hacking, and Repair in Competitive Programming

대규모 언어 모델(LLM)은 경쟁 프로그래밍 분야에서 뛰어난 성능을 보이지만, 동일한 환경에서 인간의 학습을 지원하는 데 있어서 LLM의 역할은 아직 충분히 연구되지 않았습니다. 본 논문에서는 LLM의 문제 해결 능력뿐만 아니라, 인간이 작성한 코드의 오류를 식별하는 능력 – 이는 온라인 심사 시스템에서 테스트 케이스 실행을 통해 전통적으로 지원되는 중요한 교육 활동입니다 – 을 평가하기 위해 설계된 벤치마크인 UOJ-Bench를 소개합니다. UOJ-Bench는 코드 생성, 코드 해킹 및 코드 수정의 세 가지 고유한 작업으로 구성되며, 이 모든 작업은 Universal Online Judge (UOJ)에 제출된 실제 코드를 기반으로 구축되었으며, UOJ의 자체 심사 인프라를 통해 평가됩니다. 우리의 결과는 단일 평가에서조차 가장 강력한 모델도 UOJ 사용자가 오류가 있다고 판단한 코드 세트에서 50% 이상의 오류를 식별하는 데 실패한다는 것을 보여줍니다. 테스트 시간 스케일링은 성공률을 90% 이상으로 향상시키지만, 모델 추론에 발생하는 상당한 계산 비용은 대규모 배포에 대한 실용성을 제한합니다. 이러한 한계에도 불구하고, 테스트 시간 스케일링 하에서 가장 성능이 좋은 모델은 약 30개의 문제 전반에 걸쳐 전체 점수를 받은 제출물 중 5% 이상의 오류를 발견할 수 있으며, 이는 최첨단 LLM이 기존의 심사 시스템 외에도 보완적인 정보를 제공할 수 있음을 시사합니다.

Despite strong performance in competitive programming, the role of Large Language Models (LLMs) in supporting human learning in the same setting remains largely unexplored. In this work, we introduce UOJ-Bench, a benchmark designed to evaluate not only the problem-solving ability of LLMs, but also their ability to identify errors in human-written code -- a crucial educational activity traditionally supported by running test cases over online judge systems. UOJ-Bench consists of three distinct tasks: code generation, code hacking, and code repair, all constructed from real-world code submissions on the Universal Online Judge (UOJ) and evaluated through UOJ's native judging infrastructure. Our results show that under one-shot evaluation, even the strongest models fail to identify errors in more than 50% of a set of submissions that have been found to be incorrect by UOJ users. While test-time scaling improves success rates to above 90%, the substantial computational costs incurred from model inference limit its practicality for large-scale deployment. Despite these limitations, we find that the best-performing models under test-time scaling can uncover errors in over 5% of full-score submissions across roughly 30 problems, suggesting that frontier LLMs can already provide complementary signals beyond standard judging systems.