공격 성공률을 넘어: LLM 안전성 실패에 대한 시간적 로짓 관찰

Beyond Attack Success Rate: Temporal Logit Observability for LLM Safety Failures

공격 성공률(ASR)은 각 탈옥 시도를 생성 완료 후 하나의 예/아니오 레이블로 평가하여, 실패가 발생했는지 여부를 알려주지만, 어떻게 실패가 발생했는지는 알 수 없습니다. 동일하게 유해한 결과를 초래하는 두 개의 공격이라도 완전히 다른 경로를 따를 수 있으며, ASR은 이러한 차이를 구별할 수 없습니다. 본 연구에서는 시간적 로짓 관찰(TLO)을 통해 숨겨진 경로를 로짓 정보만으로 파악합니다. TLO는 학습 없이 작동하며, 디코딩 과정에서 규정 준수 거부 마진을 모니터링하여 각 모델-공격 조건을 보정된 2차원 평면에 배치합니다. 설계상 이 평면은 ASR이 가장 유용하지 않은 지점, 즉 진정으로 다른 이유로 성공하는 공격들 사이에서 가장 많은 정보를 제공합니다. 네 가지 정렬된 LLM과 세 가지 탈옥 패러다임을 사용하여, 거의 동일한 ASR을 가진 공격들이 명확하게 다른 위치에 나타납니다. 이는 동일한 모델이 서로 다른 시간적 패턴을 통해 실패할 수 있음을 의미합니다. 이 기하학적 구조는 대부분의 조건에서 숨겨진 상태로부터 얻은 거부 방향 탐침과 일치하며, 한 가지 모델은 본 연구의 고정 어휘 접근 방식의 한계를 보여줍니다. TLO에서 파생된 간단한 조기 중단 규칙을 사용하면 성공적인 탈옥 시도를 절반 이상 줄일 수 있으며, 일반적인 안전한 쿼리에 대한 오탐은 발생하지 않습니다. 안전성 평가는 실패가 발생했는지 여부뿐만 아니라 언제, 어떻게 실패가 발생하는지 보고해야 합니다. TLO는 이러한 정보들을 로짓 정보만으로 처음으로 관찰 가능하게 합니다.

Attack Success Rate (ASR) evaluates each jailbreak with a single yes/no label at the end of generation, telling us whether a failure happened but not how it unfolded. Two attacks that produce equally harmful outputs may have followed completely different paths, and ASR cannot tell them apart. We make those hidden paths observable from logits alone. Temporal Logit Observability (TLO) is a training-free diagnostic that watches a compliance-refusal margin during decoding and places each model-attack condition on a calibrated 2D plane. By design, this plane is most informative exactly where ASR is least informative: among attacks that succeed for genuinely different reasons. Across four aligned LLMs and three jailbreak paradigms, attacks with nearly identical ASR land at clearly different points on the plane: the same model can fail through different temporal patterns. The geometry matches refusal-direction probes from hidden states on most conditions, with one model showing the limit of our fixed-lexicon approach. A simple early-stop rule derived from TLO cuts successful jailbreaks by more than half, without false alarms on plain benign queries. Safety evaluation should report when and how a failure unfolds, not only whether it occurred. TLO makes the first two observable from logits alone.