AgentTrails: 에이전트 기반 작업의 신뢰성과 재사용성을 향한 연구

AgentTrails: Towards Trust and Reuse for Agentic Tasks

LLM(Large Language Model) 기반 에이전트는 도구 호출, 데이터베이스 질의, 코드 실행 및 중간 결과물 조작을 통해 점점 더 복잡한 작업을 수행합니다. 이러한 에이전트는 일반적으로 시간 순서대로 기록되는 로그를 따르지만, 이는 작업과 생성 또는 조작된 결과물 간의 관계와 같은 근본적인 데이터 흐름을 가립니다. 이로 인해 개발자는 에이전트의 작동 과정을 이해하고, 실행 결과를 비교하며, 오류를 디버깅하고, 계산 과정을 재사용하는 데 어려움을 겪습니다. 본 논문에서는 에이전트의 활동 추적 및 분석을 위한 프로토타입 시스템인 AgentTrails를 소개합니다. AgentTrails는 원시 로그 데이터를 구조화된 활동 추적 그래프로 변환하며, 여기서 도구 호출은 계산 작업으로 모델링되고 입력 및 출력은 데이터 결과물로 표현됩니다. 이 시스템은 여러 활동 추적 그래프를 공유 캔버스에 배치하고, 반복되는 도구, 결과물 및 의존성 구조를 정렬하는 조인된 몫 그래프를 구성하여 실행 결과를 비교할 수 있도록 지원합니다. AgentTrails는 이러한 표현 방식을 기반으로 패턴 추출, 후속 분석 및 기술 추상화를 지원합니다. 실제 에이전트 활동 로그에 대한 실험을 통해 AgentTrails가 숨겨진 의존성을 드러내고, 상이한 실행 결과들을 정렬하며, 시간 순서 로그만으로는 파악하기 어려운 반복적인 도구 사용 패턴을 식별하는 것을 보여줍니다.

LLM-powered agents increasingly tackle complex tasks by invoking tools, querying databases, executing code, and manipulating intermediate artifacts. These agents follow trajectories that are typically stored as chronological logs, obscuring the underlying dataflow -- the dependencies between their actions and the artifacts they create and manipulate. This limits developers' ability to understand the agents' trails, compare executions, debug failures, and re-use the computations. We present AgentTrails, a prototype system for agent provenance and sensemaking. AgentTrails converts raw trajectories into structured provenance graphs, where tool calls are modeled as computational actions and inputs and outputs as data artifacts. The system supports the comparison of executions by placing multiple provenance graphs on a shared canvas and constructing a joined quotient graph that aligns recurring tools, artifacts, and dependency structures across trajectories. On top of this representation, AgentTrails supports pattern extraction, downstream analysis, and skill abstraction. We demonstrate AgentTrails on real-world agent trajectories, showing that it reveals hidden dependencies, aligns divergent executions, and surfaces recurring tool-use patterns beyond chronological logs.