행동으로 알 수 있는가: UI 추적을 통한 LLM 브라우저 에이전트 식별

Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces

LLM 기반 에이전트가 사용자들을 대신하여 웹을 탐색하는 빈도가 증가함에 따라, 자연스럽게 다음과 같은 질문이 제기됩니다. 웹사이트는 수동적으로 어떤 기본 모델이 에이전트를 구동하는지 식별할 수 있는가? 만약 가능하다면 이는 심각한 보안 위험을 초래하며, 알려진 모델의 취약점을 악용한 표적 공격을 가능하게 할 것입니다. 우리는 정보 검색 및 쇼핑 작업에 걸쳐 14개의 최첨단 LLM과 4개의 웹 환경을 대상으로, 수동적인 JavaScript 트래커를 통해 캡처된 에이전트의 행동 및 상호 작용 타이밍만으로도 기본 모델을 최대 96%의 F1 점수로 식별할 수 있음을 보여줍니다. 우리는 이 공격 표면을 공식화하여, 에이전트 행동으로 훈련된 분류기가 모델 크기 및 계열에 걸쳐 일반화될 수 있음을 입증했습니다. 또한, 소수의 상호 작용 추적 데이터만으로도 강력한 분류기를 훈련할 수 있으며, 에이전트의 식별은 에피소드 초기에 이루어질 수 있음을 보여줍니다. 행동 사이에 임의의 시간 지연을 추가하면 분류기 성능이 크게 저하되지만, 이는 강력한 보호책이 되지 않습니다. 지연된 추적 데이터를 사용하여 재훈련된 분류기는 대부분 성능을 회복합니다. 우리는 우리의 시스템과 에이전트 추적 데이터셋을 [https://github.com/KabakaWilliam/known_actions](https://github.com/KabakaWilliam/known_actions)에서 공개합니다.

As LLM-based agents increasingly browse the web on users' behalf, a natural question arises: can websites passively identify which underlying model powers an agent? Doing so would represent a significant security risk, enabling targeted attacks tailored to known model vulnerabilities. Across 14 frontier LLMs and four web environments spanning information retrieval and shopping tasks, we show that an agent's actions and interaction timings, captured via a passive JavaScript tracker, are sufficient to identify the underlying model with up to 96\% F1. We formalise this attack surface by demonstrating that classifiers trained on agent actions generalise across model sizes and families. We further show that strong classifiers can be trained from few interaction traces and that agent identity can be inferred early within an episode. Injecting randomised timing delays between actions substantially degrades classifier performance, but does not provide robust protection: a classifier retrained on delayed traces largely recovers performance. We release our harness and a labelled corpus of agent traces \href{https://github.com/KabakaWilliam/known_actions}{here}.