숨겨진 흔적: LLM 에이전트 평가를 위한 저장 공간을 주요 지표로 활용

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

LLM 에이전트 벤치마크는 작업 완료, 신뢰성 및 추론 비용을 측정하지만, 에이전트 실행이 디스크에 남기는 지속적인 데이터(로그, 컨텍스트 스냅샷, 체크포인트, 디버깅 정보 등)는 고려하지 않습니다. 본 연구에서는 AgentFootprint라는 프레임워크 간 비교 벤치마크를 소개합니다. 이 벤치마크는 직렬화 방식을 고려한 측정 지표 세트를 사용하여 총 보존 데이터 양, 채널 구성, 중복 여부, 증가 추세, 압축 가능성 및 대화 기록 복원 가능성을 측정합니다. 본 연구는 다음과 같은 측정상의 함정을 해결합니다: 단순한 바이트 수준 측정은 데이터베이스 페이징 및 JSON 이스케이핑으로 인해 반복되는 콘텐츠가 가려져 중복을 실제보다 훨씬 적게 측정하는 경향이 있습니다. 고정된 추적 데이터를 사용하여 에이전트가 생성한 논리 볼륨과 저장 계층의 증폭 효과를 분리하여, 동일한 경로를 7개의 지속적인 프레임워크에서 실행했을 때 6.7배의 차이가 발생했습니다. 동일한 모델, 도구 및 작업을 사용하더라도, 100% 정확도를 보이는 구성 간에 보존된 바이트 수가 최대 15.7배까지 다릅니다. 이는 기본 설정이 서로 다른 복구 및 감사 기능을 제공하기 때문입니다. 세 가지 전체 기록 구성을 사용하여 반복적인 관찰 스트레스 테스트를 수행한 결과, 데이터 증가량이 선형적으로 증가하는 경향을 보였습니다. 108개의 인스턴스 정규화된 SWE-bench Verified 제출물에서 추출된 추적 데이터는 각 인스턴스별로 최대 3배의 차이를 보였으며, 해결률과는 상관관계가 없는 것으로 나타났습니다. 콘텐츠 기반 저장 방식을 사용하면 보존 데이터를 4.8배에서 32.7배까지 줄이면서 모든 복원 가능성 점수를 유지할 수 있었습니다. 이러한 결과는 지속적인 저장을 정확도 및 복원 가능성과 함께 보고해야 할 중요한 지표로 확립합니다.

LLM agent benchmarks measure task completion, reliability, and inference cost, but not the persistent data an agent run leaves on disk, including logs, context snapshots, checkpoints, and debug traces. We introduce AgentFootprint, a cross-framework benchmark of post-run agent storage footprint. Its serialization-aware metric suite measures total retention, channel composition, duplication, growth, compressibility, and conversation-history reconstructability. It addresses a measurement trap: naive byte-level measurement understates duplication by an order of magnitude because database paging and JSON escaping obscure repeated content. A fixed-trace control separates agent-generated logical volume from persistence-layer amplification: replaying the same trajectory through seven persisting frameworks yields a 6.7x spread. Under identical models, tools, and tasks, configurations with 100% accuracy differ by 15.7x in retained bytes, although their defaults support different recovery and audit capabilities. Three full-history configurations grow superlinearly on a repeated-observation stress task. Exported trajectories from 108 instance-normalized SWE-bench Verified submissions span three orders of magnitude per instance, with no detectable correlation with resolve rate. A content-addressed store reduces retention by 4.8x-32.7x while preserving every reconstructability score. These results establish persistent storage as a resource metric to report jointly with accuracy and reconstructability.