성공적인 흐름에서 나타나는 에이전트 시스템의 실패 원인 추적

Tracing Agentic Failure from the Flow of Success

LLM 기반 에이전트 시스템의 경우, 작업 실패 원인을 파악하는 것은 디버깅 및 성능 향상에 매우 중요합니다. 기존 방법들은 프롬프트 기반 파이프라인을 사용하거나, 단계별 오류 주석이 포함된 실패 경로에 대한 추가 학습을 필요로 하는데, 이는 계산 비용이 많이 들거나 데이터 수집이 어렵고 확장성이 떨어지는 단점이 있습니다. 본 연구에서는 실용적인 실패 원인 분석 모델은 경량화되어야 하며, 단계별 지도 없이 실패 데이터만으로 학습될 수 있어야 한다고 주장합니다. 이를 위해, 우리는 비지도 학습 기반의 실패 원인 분석 방법을 제안합니다. 즉, 성공적인 경로만을 사용하여 학습하고, 추론 시에 주어진 실패 경로에서 오류 단계를 식별하는 방식입니다. 본 연구에서는 OAT라는 모델을 제안하며, 이는 신경망 제어 미분 방정식을 활용하여 잠재 공간에서의 성공적인 경로의 동적 패턴을 모델링하는 원-클래스 학습 방식으로 문제를 해결합니다. 추론 시, 각 단계는 성공적인 경로에서 학습된 동적 패턴으로부터의 편차를 기반으로 이상 점수가 할당되며, 이를 통해 오류 단계를 식별합니다. 100개의 성공적인 경로만을 사용하여 학습한 결과, OAT는 프롬프트 기반 모델보다 200-5000배 빠르며, 동일한 조건에서 도메인 내 데이터셋과 외부 데이터셋 모두에서 각각 +20% 및 +7%의 F1 점수 향상을 보여줍니다. 이는 OAT가 에이전트 시스템의 실패를 진단하는 데 유망하고 효율적인 방법임을 시사합니다.

Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 $\times$ faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.