모델 확장부터 시스템 확장까지: 에이전트형 AI에서 하니스(Harness) 확장의 중요성

From Model Scaling to System Scaling: Scaling the Harness in Agentic AI

본 논문은 에이전트형 AI 분야의 다음 주요 난관으로 모델 확장뿐만 아니라 시스템 확장, 즉 감사 가능하고 지속적이며 모듈화되고 검증 가능한 아키텍처를 기반 모델 (Foundation Model) 주변에 구축하는 문제를 다룹니다. 우리는 이러한 변화를 '하니스 확장(scaling the harness)'이라고 부르며, 이는 기반 모델을 둘러싼 구조화된 실행 레이어를 설계, 평가 및 최적화의 핵심 요소로 취급하는 것을 의미합니다. 최근 개발된 대규모 언어 모델은 에이전트가 도구를 사용하고, 정보를 검색하며, 기억력을 유지하고, 장기적인 워크플로우를 실행할 수 있도록 하지만, 평가는 여전히 주로 모델 중심적으로 이루어지며, 종종 에이전트를 최종 작업 성공 여부로만 평가하고, 메모리, 정보 검색, 도구 사용, 오케스트레이션, 검증 및 거버넌스를 부수적인 구현 세부 사항으로 취급합니다. 이러한 관점은 점점 더 적절하지 않게 되는데, 그 이유는 에이전트의 성능이 기반 모델, 메모리 서브스트레이트, 컨텍스트 생성기, 스킬 라우팅 레이어, 오케스트레이션 루프 및 검증-거버넌스 레이어 간의 상호 작용에서 비롯되기 때문입니다. 이러한 구성 요소들은 함께 에이전트 하니스를 형성하며, 이는 모델의 기능을 장기적인 에이전트 행동으로 변환합니다. 본 논문에서는 컨텍스트 거버넌스, 신뢰할 수 있는 메모리, 동적 스킬 라우팅이라는 세 가지 핵심 병목 현상을 통해 하니스 확장을 연구하고, 이러한 요소들을 조정하고 제약하는 오케스트레이션 및 거버넌스 메커니즘을 함께 다룹니다. 또한, 단일 작업 성공 여부를 넘어 트래jectory 품질, 메모리 위생, 컨텍스트 효율성, 통신 충실도, 검증 비용 및 안전한 장기적인 진화를 측정하기 위한 하니스 수준의 벤치마크 연구 과제를 제시합니다. 논의를 구체화하기 위해, Python 기반의 참조 하니스인 CheetahClaws (https://github.com/SafeRL-Lab/cheetahclaws)를 개발하고, Claude Code 및 OpenClaw와 비교 분석했습니다. 우리의 주장은 미래 에이전트형 AI 발전은 더 강력한 기반 모델만큼 시스템 설계에도 크게 의존한다는 것입니다.

This paper studies the next major bottleneck in agentic AI as system scaling, not only model scaling: the design of auditable, persistent, modular, and verifiable architectures around foundation models. We refer to this shift as scaling the harness: treating the structured execution layer around a foundation model as a first-class object of design, evaluation, and optimization. Although recent large language models enable agents to use tools, retrieve information, maintain memory, and execute long-horizon workflows, evaluation remains largely model-centric, often reducing agents to final-task success while treating memory, retrieval, tool use, orchestration, verification, and governance as secondary implementation details. This framing is increasingly inadequate because agent performance emerges from the interaction among the foundation model, memory substrate, context constructor, skill-routing layer, orchestration loop, and verification-and-governance layer. Together, these components form the agent harness, which translates model capability into long-horizon agent behavior. We study scaling the harness through three core bottlenecks: context governance, trustworthy memory, and dynamic skill routing, together with the orchestration and governance mechanisms that coordinate and constrain them. We further outline a research agenda for harness-level benchmarks that go beyond one-shot task success to measure trajectory quality, memory hygiene, context efficiency, communication fidelity, verification cost, and safe evolution over time. To make the discussion concrete, we develop CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, a Python-native reference harness, and compare it with Claude Code and OpenClaw. Our main claim is that future progress in agentic AI will depend as much on system design as on stronger foundation models.