주의 메커니즘에 주목: 시계열 이상 탐지를 위한 예측 가능한 쿼리 동역학

Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

다변량 시계열 이상은 종종 단순한 진폭 변동보다는 채널 간의 상호 의존성 변화로 나타납니다. 예를 들어, 자율 주행 시스템에서 조향 명령은 내부적으로 일관될 수 있지만, 결과적으로 발생하는 측면 가속도와는 동떨어져 있을 수 있습니다. 잔차 기반 탐지기는 유연한 시퀀스 모델이 변경된 조정에도 불구하고 여전히 신호를 그럴듯하게 재구성할 수 있는 경우, 이러한 이상을 놓칠 수 있습니다. 본 논문에서는 다중 헤드 어텐션 쿼리 진화가 단기적인 예측 가능한 프로세스로 간주되는 비지도 탐지기인 AxonAD를 소개합니다. 기울기 업데이트를 통해 재구성을 수행하는 경로와 과거 컨텍스트로부터 미래 쿼리 벡터를 예측하는 과거 정보만을 사용하는 예측기가 결합되어 있습니다. 이는 지수 이동 평균(EMA) 대상 인코더를 사용한 마스크된 예측-대상 목표를 통해 학습됩니다. 추론 시, 재구성 오류와 최근 시점에서 예측된 쿼리와 대상 쿼리 간의 코사인 편차를 측정하는 꼬리 집계 쿼리 불일치 점수를 결합합니다. 이러한 이중 접근 방식은 구조적 의존성 변화에 대한 민감도를 제공하면서 동시에 진폭 수준의 탐지도 유지합니다. 독점적인 차량 내 텔레메트리 데이터(간격 주석 포함) 및 임계값 없이 범위 인지 지표를 사용하는 TSB-AD 다변량 데이터셋(17개 데이터셋, 180개 시계열)에서 AxonAD는 강력한 기본 모델보다 우수한 순위 품질과 시간적 위치 정확도를 제공합니다. 분석 결과, 쿼리 예측과 결합된 점수가 관찰된 성능 향상의 주요 요인임을 확인했습니다. 코드 및 관련 정보는 다음 URL에서 확인할 수 있습니다: https://github.com/iis-esslingen/AxonAD.

Multivariate time series anomalies often manifest as shifts in cross-channel dependencies rather than simple amplitude excursions. In autonomous driving, for instance, a steering command might be internally consistent but decouple from the resulting lateral acceleration. Residual-based detectors can miss such anomalies when flexible sequence models still reconstruct signals plausibly despite altered coordination. We introduce AxonAD, an unsupervised detector that treats multi-head attention query evolution as a short horizon predictable process. A gradient-updated reconstruction pathway is coupled with a history-only predictor that forecasts future query vectors from past context. This is trained via a masked predictor-target objective against an exponential moving average (EMA) target encoder. At inference, reconstruction error is combined with a tail-aggregated query mismatch score, which measures cosine deviation between predicted and target queries on recent timesteps. This dual approach provides sensitivity to structural dependency shifts while retaining amplitude-level detection. On proprietary in-vehicle telemetry with interval annotations and on the TSB-AD multi-variate suite (17 datasets, 180 series) with threshold-free and range-aware metrics, AxonAD improves ranking quality and temporal localization over strong baselines. Ablations confirm that query prediction and combined scoring are the primary drivers of the observed gains. Code is available at the URL https://github.com/iis-esslingen/AxonAD.