경험 그래프: 자율 학습 에이전트를 위한 데이터 기반

Experience Graphs: The Data Foundation for Self-Improving Agents

데이터베이스 연구 분야는 새로운 워크로드가 새로운 시스템 아키텍처를 요구한다는 점을 인식함으로써 지속적으로 발전해 왔습니다. 본 논문에서는 장기적인 목표를 가진 에이전트 작업, 즉 코드 생성, 과학적 발견, 하드웨어 설계 등이 그러한 워크로드에 해당한다고 주장합니다. 이러한 에이전트는 다양한 과정을 거칩니다: 결과물을 생성하고, 도구를 실행하며, 실패를 관찰하고, 분기를 만들고, 수백 단계에 걸쳐 수정합니다. 이 과정에서 생성되는 구조화된 데이터를 '경험 그래프'라고 부릅니다. 여기에는 실행 가능한 결과물, 도구 출력, 보상, 관련 결과 비교, 인과 관계 등이 포함됩니다. 그러나 기존 에이전트 프레임워크에서는 이러한 경험을 일회성 상태로 취급하며, 이는 충돌 시 복구할 수 없거나 사용자 간에 검색할 수 없는 JSON 체크포인트 및 세션 로그 형태로 저장됩니다. 본 논문에서는 'Trellis'라는 데이터 기반 시스템을 제안합니다. Trellis는 경험 그래프를 핵심적인, 관리되고, 쿼리 가능한 데이터베이스 상태로 취급합니다. 핵심 아이디어는 경험 그래프에 대한 검색이 데이터베이스 액세스 패턴이라는 것입니다. 최적 탐색 후보 선택은 쿼리에 해당하며, 세션 간 재사용은 벡터 기반 그래프 검색으로 구현될 수 있습니다. 학습 데이터 추출은 구체화된 뷰(materialized view)로 처리할 수 있으며, 에이전트가 특정 시점에 어떤 지식을 가지고 있었는지 복원하는 것은 시간 여행 쿼리로 수행할 수 있습니다. 데이터베이스가 경험 그래프를 관리하면, 에이전트는 상태를 가지지 않는 컴퓨팅으로 작동하며, 충돌 복구, 수평 확장, 그리고 지속적인 학습 시스템 구축이 자연스럽게 구현될 수 있습니다. 본 논문에서는 Meta의 생산성 향상 가속기 커널 최적화 도구인 KernelEvolve를 예시로 들어 Trellis의 설계 방식을 설명합니다. KernelEvolve에서 세션 간 재사용은 약 10배 빠른 속도로, 토큰 비용은 52% 절감되는 효과를 보였습니다. 더 나아가, Trellis는 추론 시간 동안 발생하는 검색을 일회성 계산이 아닌 지속 가능한 자산으로 전환하여 에이전트가 경험을 통해 점진적으로 발전할 수 있도록 합니다.

The database community has repeatedly advanced the state of the art by recognizing that new workloads demand new system architectures. We argue that long-horizon agentic tasks -- code generation, scientific discovery, hardware design -- are such a workload. These agents explore: they generate artifacts, execute tools, observe failures, branch, and repair over hundreds of steps. This search produces a structured object we call an experience graph: executable artifacts, tool outputs, rewards, sibling comparisons, and causal lineage. Yet existing agent frameworks treat this experience as disposable state -- JSON checkpoints and session logs that cannot be recovered after a crash, queried across users, or materialized into training data. We propose Trellis: a data foundation that treats the experience graph as first-class, governed, queryable database state. The core insight is that search over experience graphs is a database access pattern. Frontier selection is a query, cross-session reuse is vector-seeded graph retrieval, training-data extraction is a materialized view, and reconstructing what an agent knew at any past step is a time-travel query. When the database owns the experience graph, agents become stateless compute, and crash recovery, horizontal scaling, and a closed-loop training flywheel emerge as architectural byproducts. We ground the design in KernelEvolve, a production accelerator-kernel optimizer at Meta, where cross-session reuse reaches a target speedup roughly 10x faster at 52% lower token cost. More broadly, Trellis turns inference-time search from disposable computation into a durable institutional asset: logs made databases reliable; experience graphs may make agents cumulative.