HarnessOpt-Bench: Harness 최적화를 통한 LLM 평가

HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

LLM이 에이전트 시스템 내에서 점점 더 많이 사용됨에 따라, 성능은 모델 가중치뿐만 아니라 프롬프트, 도구, 제어 흐름, 메모리 및 오케스트레이션 코드와 같은 '하네스(harness)'에도 크게 의존합니다. 따라서 AI 시스템이 하네스를 반복적으로 개선하는 자동화된 하네스 최적화는 AI 시스템의 성능 향상을 위한 중요한 방법이며, 동시에 AI 시스템 자체에게도 어려운 과제입니다. 그러나 현재 이 작업을 수행하는 최첨단 LLM의 성능을 측정할 수 있는 표준적인 프로토콜은 존재하지 않습니다. 본 연구에서는 비용이 많이 들고 확률적인 평가 환경에서 전체적인 하네스 최적화를 위한 벤치마크인 HarnessOpt-Bench를 소개합니다. 최적화 모델(LLM과 코딩 하네스의 조합)은 대상 에이전트의 초기 하네스, 등급 기반 피드백 및 고정된 목표 평가 예산을 받습니다. 이 모델은 하네스를 수정하고 최종 후보를 제안하며, 이는 보류된 테스트 데이터 세트에 대한 초기 하네스와 비교하여 정규화된 성능 향상 정도에 따라 점수가 매겨집니다. 신뢰할 수 있는 실행 환경은 평가 범위를 제한하고, 대상 에이전트의 리소스 사용량을 측정하며, 감사 목적으로 후보 버전을 보존합니다. 4가지 다운스트림 작업에서 5개의 최첨단 LLM을 공유된 코딩 하네스와 각 모델 자체의 하네스를 사용하여 최적화 모델로 평가했습니다. 실험 결과는 최적화 모델이 사용하는 코딩 하네스보다 더 큰 차이를 보이는 것을 보여주며, 특정 하네스가 항상 우수한 것은 아니라는 점을 나타냅니다. 또한 성능 향상은 작업 및 초기 설정에 따라 크게 달라집니다. 이러한 결과는 하네스 최적화를 측정 가능하고 차별화된 능력으로 확립하며, 개선의 여지가 매우 크다는 것을 보여줍니다.

As LLMs are increasingly deployed within agentic systems, their capabilities depend not only on the model weights but also on the harness: the prompts, tools, control flow, memory, and orchestration code surrounding them. This makes automated harness optimization -- the iterative and evaluation-guided improvement of a harness by an AI system -- both an important route to improving AI systems and a demanding capability for AI systems themselves. Yet the community lacks a common protocol for measuring how well frontier LLMs perform at this task. We introduce HarnessOpt-Bench, a benchmark for end-to-end harness optimization under expensive and stochastic evaluation. An optimizer, an LLM paired with a coding harness, receives a target agent's seed harness, graded evaluation feedback, and a fixed target-evaluation budget. It edits the harness and nominates a final candidate, which is scored by its normalized gain over the seed on a held-out test partition that remains inaccessible throughout search. A trusted execution environment enforces the evaluation boundary, meters target-agent resource use, and preserves candidate versions for audit. We evaluate 5 frontier LLMs as optimizers both under a shared coding harness and under their native harnesses across 4 downstream tasks, over 111 scored runs. Experiment results show that optimizer models separate more than the coding harnesses they act through, native harnesses are not consistently superior, and gains vary substantially across tasks and seed regimes. These results establish harness optimization as a measurable and discriminative capability with large space for improvement.