공개 테스트 통과 코드를 위한 코드 모니터링 레드 팀 운영
Code Monitor Red Teaming for Public-Test-Passing Code
LLM(대규모 언어 모델)이 생성한 코드의 경우, 공개적으로 제공되는 테스트를 통과하는 것은 일반적인 검증 방법이지만, 이는 사양의 정확성을 보장하지 않습니다. 본 연구에서는 배포 환경과 유사한 모니터링 문제를 다룹니다: 코드가 공개 테스트를 통과한 후, 성능이 낮은 LLM 검증기가 남은 숨겨진 버그를 식별할 수 있는지 조사합니다. 우리는 '코드 모니터링 레드 팀 운영(Code Monitor Red Teaming)'이라는 새로운 프로토콜을 제안합니다. 이 프로토콜은 공개 검사 정보를 제한하면서 생성 모델의 압력, 검증기 지원 기능, 그리고 낮은 성능에서 높은 성능으로의 전환 가능성을 다양하게 변화시킵니다. 우리는 이 프로토콜을 'CodeMonitorBench'라는 벤치마크로 구현하여 함수 수준, 데이터 과학 및 워크플로우 코드에 적용했습니다. 총 71,000개의 생성된 후보 중 43,677개가 공개 테스트를 통과했지만, 그중 23,081개는 숨겨진 테스트에서 실패했습니다. 성능이 낮은 검증기는 지원 기능 및 모델 종류에 따라 개선되지만, 여전히 대부분의 숨겨진 버그를 5%의 오탐율로 놓치게 됩니다. 견고성 스트레스 테스트로서, 적대적인 공개 테스트 과적합은 검증기의 AUROC(Area Under the Receiver Operating Characteristic curve) 값을 낮추고 낮은 오탐율에서 실패율을 높입니다. GLM-5.1 검증기는 동일한 정보 제한 조건 하에서 일부 격차를 줄일 수 있으며, 추론 가능성 분석 결과, 남은 실패는 검증기의 오류와 M1(모델의 특정 버전 또는 아키텍처)의 정보 제한으로 인한 오류가 혼합된 것으로 나타났습니다.
Visible tests are a common gate for LLM-generated code, but passing them does not certify specification correctness. We study a deployment-like monitoring problem: after code has passed public tests, can a weaker LLM verifier identify the residual hidden bugs? We introduce Code Monitor Red Teaming, a monitor-red-teaming protocol that fixes a public-check information boundary while varying generator pressure, verifier scaffolding, and weak-to-strong capability. We instantiate it as CodeMonitorBench, spanning function-level, data-science, and workflow code. Across 71,000 generated candidates, 43,677 pass public tests and 23,081 of those fail hidden tests. Weak verifiers improve with scaffolding and model family, but still miss most hidden bugs at 5% false-positive rate. As a robustness stress test, adversarial public-test-overfit pressure lowers verifier AUROC and raises low-FPR miss rates in most cells. A GLM-5.1 verifier recovers part of the gap under the same evidence boundary; an inferability audit shows that remaining misses mix verifier failures with M1 evidence limits.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.