WorkSurface-Bench: 다중 표면 지식 라우팅 환경에서 엔터프라이즈 에이전트 성능 평가

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

엔터프라이즈 에이전트는 종종 이질적인 지식 소스를 통합해야 합니다. 여기에는 서술적 사실을 담은 문서, 계산에 사용되는 테이블, 파일 관계를 나타내는 의존성 그래프 등이 포함됩니다. 기존의 벤치마크는 일반적으로 검색 또는 도구 사용 성능만을 평가하며, 에이전트가 먼저 적절한 지식 소스를 선택하는지 여부를 구분하지 않습니다. 본 연구에서는 이러한 능력을 '표면 라우팅'이라고 정의하고 이를 평가하기 위한 벤치마크인 WorkSurface-Bench를 소개합니다. WorkSurface-Bench는 persona 기반 Workspace-Bench-Lite 워크스페이스에서 파생된 1,151개의 원자적 작업으로 구성되며, 문서, 테이블, 그래프 및 다중 표면 질문을 포함합니다. 참조 정답은 감사 가능하도록 설계되었습니다. 테이블 답변은 실행 가능한 DuckDB 쿼리를 통해 재현되고, 문서 답변은 검증된 텍스트 부분을 기반으로 하며, 그래프 답변은 소스 의존성 주석에 연결됩니다. 우리는 6가지 제어된 에이전트 설정에서 4개의 모델 아키텍처를 평가하여 총 27,624개의 오류 없는 실행 경로를 얻었습니다. 제한적인 도구 사용 조건 하에서, 에이전트는 98.7-99.8%의 Route F1 점수를 달성했지만, 정답률은 56.1-75.3%에 불과했습니다. 이는 올바른 표면 선택이 작업 완료에 필수적이지만 충분하지 않음을 보여줍니다. 추가적인 실험 결과, 표면 힌트는 4개의 모델 중 3개에서 정답률을 향상시키는 반면, 관련 없는 도구를 제거하면 주로 라우팅 및 효율성이 개선되는 것으로 나타났습니다. 독립적인 세 명의 평가자가 샘플링된 200개의 작업에 대해 품질 기준 6가지 모두를 평가한 결과, 다수결 원칙에 따라 모든 작업이 모든 기준을 충족했으며, 192개 작업은 모든 평가자로부터 만장일치로 동일한 판단을 받았습니다. 데이터셋, 구축 파이프라인, 스코어링 코드 및 에이전트 실행 환경은 https://github.com/haolpku/WorkSurface-Bench 에서 확인할 수 있습니다.

Enterprise agents often need to integrate heterogeneous knowledge sources: documents for narrative facts, tables for computation, and dependency graphs for file relationships. Existing benchmarks typically evaluate retrieval or tool use without distinguishing whether an agent first selects the appropriate knowledge sources. We introduce WorkSurface-Bench, a benchmark for evaluating this capability as surface routing. It contains 1,151 atomic tasks derived from persona-scoped Workspace-Bench-Lite workspaces, spanning document, table, graph, and cross-surface questions. Its reference answers are auditable: table answers are reproduced through executed DuckDB queries, document answers are grounded in verified text spans, and graph answers are traced to source dependency annotations. We evaluate four model backbones across six controlled agent settings, yielding 27,624 protocol-error-free trajectories. Under gold-constrained tool access, agents achieve 98.7-99.8 Route F1, while Answer remains only 56.1-75.3 percent, showing that correct surface selection is necessary but insufficient for task completion. Matched interventions further show that surface hints improve Answer for three of four models, whereas removing irrelevant tools primarily improves routing and efficiency. In an independent three-annotator audit, all 200 sampled tasks pass all six quality criteria by majority vote, with 192 receiving unanimous judgments on every criterion. We release the dataset, construction pipeline, scoring code, and agent harness at https://github.com/haolpku/WorkSurface-Bench.