QuoteBench: 일치된 점수가 어떻게 명령 실행 오류를 숨길 수 있는가

QuoteBench: How Matched Scores Can Hide Command-Path Failures

LLM 코딩 에이전트는 모델 출력을 직렬화, 래핑 및 재파싱하는 인터페이스를 통해 Bash 명령을 실행합니다. 일치된 실행 점수만으로는 명령 생성 오류와 생성 이후 발생하는 실패를 구별할 수 없습니다. QuoteBench는 14가지 사고 사례에서 파생된 56개의 단일 작업에 대한 정확한 최종 상태 검증을 통해 이러한 경계를 측정합니다. 이 연구에서는 의도적으로 이스케이프되지 않은 추가 파서를 사용하여 생성 계약과 실행 전송 간의 관계를 분석했습니다. 삽입 지점에서 이스케이프를 적용하면 재생된 응답의 원본 경로 결과를 재현할 수 있습니다. 따라서 공개된 경계 하에서 발생하는 모든 복구는 모델이 생성 방식을 변경함으로써 이루어져야 합니다. 8가지 동일한 환경 구성에서, 추가 파서를 통해 동일한 응답을 재생하는 경우 성공률이 55.4%에서 73.2% 포인트 감소합니다. 경계를 공개하면 6가지 구성에서 30.4%에서 60.7% 포인트의 복구가 가능하지만, 나머지 2가지 구성에서는 복구 효과가 없거나 약간 부정적입니다. 원본 생성은 거의 최첨단 수준에 도달했으며, 모델을 구분하는 것은 경계 적응 능력입니다. GPT-5.6-sol의 일치된 점수 격차인 -3.6 포인트는 -64.3 포인트의 손실과 +60.7 포인트의 보상을 숨기고 있습니다. 배포 구성은 모델 순위를 재조정하며, 26쌍의 유사한 모델 중 한 쌍에서는 명확한 역전이 나타나고, 다른 네 쌍은 단일 작업의 차이에 의해 구분됩니다. 명령 실행 에이전트에 대한 평가는 모델 구성, 생성 계약, 실행 경로, 작동 지점 및 최종 상태 검증기를 보고해야 하며, 일치된 점수를 모델 자체의 고유한 속성으로 간주해서는 안 됩니다.

LLM coding agents issue Bash commands through interfaces that may serialize, wrap, and reparse model output. Matched execution scores alone cannot distinguish command-generation errors from failures introduced after generation. QuoteBench measures this boundary with exact final-state validation on 56 one-shot tasks from 14 incident-derived families, crossing the generation contract with the execution transport around one deliberately unescaped added parser. Escaping at the interpolation point reproduces each replayed reply's raw-path outcome, so any recovery under a disclosed boundary must come from the model changing its generation. Across eight same-window configurations, replaying the same reply through the added parser lowers success by 55.4 to 73.2 percentage points; disclosure recovers 30.4 to 60.7 points for six configurations, and zero or slightly negative for the other two. Raw generation is nearly saturated at the frontier; boundary adaptation is what still separates models. GPT-5.6-sol's matched gap of -3.6 points hides -64.3 points of damage and +60.7 points of compensation. The deployment configuration reorders models: one reversal among 26 comparable pairs is unambiguous and four more sit on single-task margins. Evaluations of command-issuing agents should report the model configuration, generation contract, execution path, operating point, and final-state validator rather than treat a matched score as an intrinsic model property.