EvoCause: LLM 기반의 인과 그래프 진화 모델 - 근본 원인 분석을 위한 방법

EvoCause: LLM-Guided Evolution of Causal Graphs for Root Cause Analysis

최신 통신, 클라우드 및 마이크로 서비스 시스템은 구성 요소 오류 시 상관 관계가 있는 경고 연쇄를 발생시킵니다. 근본 원인 분석(RCA)은 각 연쇄를 시작하는 소수의 경고를 식별하는 것을 목표로 합니다. 일반적인 접근 방식은 관측 로그로부터 인과 그래프를 학습하고, 각 사고로 유발된 부분 그래프에서 모든 0차 노드(in-degree가 0인 노드)를 예측합니다. 그러나 학습된 그래프는 고정되어 있으며 과거 사고에 대한 전문가의 진단을 활용할 수 없습니다. EvoCause는 이러한 문제를 해결합니다. 전문가 레이블은 어떤 경고가 소스 노드가 되어야 하는지를 제한하지만, 해당 제약을 만족시키기 위한 정확한 엣지 수정 사항을 지정하지 않습니다. EvoCause는 대규모 언어 모델(LLM)을 사용하여 의미적으로 타당한 그래프 수정을 제안하고, 결정적인 코드는 노드 식별 및 비순환성을 검증하며, 레이블이 지정된 정렬 집합에서 가장 좋은 그래프를 유지합니다. 테스트 시에는 정제된 그래프만으로 LLM 호출 없이 투명한 예측을 수행할 수 있습니다. 또한, 실제 통신 네트워크에서 추출된 $485{,}681$개의 경고 이벤트, $194$종류의 경고 및 $5{,}621$개의 리소스를 포함하는 전문가가 주석을 단 벤치마크 데이터셋인 TeleRCA를 공개합니다. 합성 데이터에서는 PC 인과 관계 발견 알고리즘으로 초기화된 EvoCause가 기존의 PC 기반 모델보다 Node F1, Case EM 및 Graph F1 지표에서 각각 $11.59$, $9.40$ 및 $4.59$ 퍼센트 포인트 향상되었으며, nSHD는 $0.2379$ 감소했습니다. TeleRCA 데이터셋에서 인간이 읽을 수 있는 경고 제목을 익명 식별자로 대체했을 때 Node F1과 Case EM 지표가 각각 $6.12$ 및 $8.04$ 퍼센트 포인트 감소했는데, 이는 경고 이름 정보가 그래프 정제에 기여한다는 것을 시사합니다.

Modern telecommunication, cloud, and microservice systems emit correlated alarm cascades when components fail. Root cause analysis (RCA) aims to identify the small set of alarms that initiate each cascade. A common approach learns a causal graph from observational logs and predicts all zero-in-degree alarms in each incident-induced subgraph. However, the learned graph remains fixed and cannot benefit from expert diagnoses of historical incidents. We close this loop with EvoCause. Expert labels constrain which alarms should be source nodes but do not specify the edge edits needed to satisfy those constraints. EvoCause uses a large language model (LLM) to propose semantically plausible graph edits, while deterministic code validates node identities and acyclicity and retains the best graph on a labeled alignment set. At test time, the refined graph alone produces transparent predictions without an LLM call. We also release TeleRCA, an expert-annotated benchmark from a production telecommunication network containing $485{,}681$ alarm events spanning $194$ alarm types over $5{,}621$ resources. On synthetic data, EvoCause initialized with the PC causal discovery algorithm outperforms the unrefined PC baseline, raising Node F1, Case EM, and Graph F1 by $11.59$, $9.40$, and $4.59$ percentage points, respectively, while reducing nSHD by $0.2379$. On TeleRCA, replacing human-readable alarm titles with anonymous identifiers lowers Node F1 and Case EM by $6.12$ and $8.04$ percentage points, respectively, indicating that alarm-name information contributes to graph refinement.